73 Strings — глобальна фінтех-компанія, що розробляє технології доповненого інтелекту для аналізу, оцінювання та моніторингу неліквідних активів. Її платформа поєднує вилучення даних, моніторинг портфелів і робочі процеси оцінювання, допомагаючи керуючим альтернативними активами перетворювати складні фінансові дані на своєчасні та практично застосовні аналітичні висновки. Компанія обслуговує фонди прямих інвестицій, венчурні фонди, фонди приватного кредитування та інфраструктурні фонди, підтримуючи ефективніші й обґрунтованіші процеси оцінювання завдяки аналітиці на основі штучного інтелекту.
Старший інженер з даних — гібридний формат у Лондоні
Керуйте проєктуванням і роботою конвеєрів даних та сховищ Azure для платформи оцінювання приватного капіталу 73 Strings. Відповідайте за приймання й перетворення даних, їхню якість, CI/CD і передавання даних клієнтам.
Опис
- Формуйте архітектуру платформи для приймання, обробки та передавання даних
- Створюйте й експлуатуйте пакетні конвеєри та конвеєри потокової обробки з баз даних, API, потоків подій і напівструктурованих даних
- Реалізуйте захоплення змін даних та інкрементальне завантаження з підтримкою впорядкування, видалення, повторного відтворення та повільно змінюваних вимірів
- Створюйте набори даних медальйонного рівня та розмірні моделі даних
- Передавайте дані до Snowflake, Microsoft SQL Server і Databricks
- Забезпечуйте дотримання контрактів даних, узгодження та ізоляцію даних на рівні рядків до публікації
- Керуйте робочими процесами GitHub і CI/CD, зокрема тестуванням, перевіркою коду, просуванням між середовищами та розгортанням інфраструктури як коду
- Діагностуйте й усувайте збої даних у робочому середовищі
- Перетворюйте вимоги до продукту, оцінювання та команд клієнтів на надійні операційні конвеєри
Вимоги
- Щонайменше 10 років досвіду розроблення промислових систем обробки даних
- Практичний досвід роботи зі Snowflake або Databricks як основною платформою, зокрема моделювання даних, оптимізація продуктивності та контроль витрат
- Впевнені навички Python і SQL для розроблення та тестування конвеєрів
- Досвід роботи із захопленням змін даних і обробкою подій, зокрема впорядкуванням, повторним відтворенням та еволюцією схем
- Практичний досвід роботи з Azure, зокрема Databricks, ADLS і підключенням до приватних мереж
- Досвід керування робочими навантаженнями даних за допомогою GitHub і CI/CD із використанням GitHub Actions або зіставної системи
- Досвід забезпечення якості даних, узгодження, моніторингу та реагування на виробничі інциденти
- Досвід створення захищених мультитенантних платформ даних з ізоляцією орендарів, контролем доступу та захистом даних
- Здатність безпосередньо працювати з технічними командами клієнтів і співпрацювати з командами польової інженерії, продукту та іншими зацікавленими сторонами
- Бажано: досвід роботи з Databricks Lakeflow, Auto CDC, Declarative Automation Bundles і DQX або з еквівалентами Snowflake, такими як Dynamic Tables, Streams and Tasks, Snowpark, розгортання через Snowflake CLI та Data Metric Functions
- Бажано: досвід роботи з Debezium, Kafka Connect або Confluent Kafka
- Бажано: досвід роботи з Apache Airflow або зіставним оркестратором робочих процесів
- Бажано: досвід роботи з Kafka або Spark Structured Streaming, Apache Iceberg або Delta Sharing і dbt
- Бажано: досвід роботи з даними приватних ринків, пов’язаними з оцінюванням, фондами, портфельними компаніями або рухом капіталу
Переваги
- Підтримувальне робоче середовище
- Культура, зосереджена на інноваціях і співпраці
- Можливість брати на себе відповідальність і проявляти ініціативу
- Постійні можливості для навчання