73 Strings — глобальная финтех-компания, разрабатывающая технологии дополненного интеллекта для анализа, оценки и мониторинга неликвидных активов. Ее платформа объединяет извлечение данных, мониторинг портфелей и процессы оценки, помогая управляющим альтернативными активами превращать сложные финансовые данные в своевременные и практически применимые аналитические выводы. Компания работает с фондами прямых инвестиций, венчурными фондами, фондами частного кредитования и инфраструктурными фондами, повышая эффективность и качество процессов оценки благодаря аналитике на основе искусственного интеллекта.
Старший инженер по данным — гибридный формат в Лондоне
Руководите проектированием и эксплуатацией конвейеров данных и хранилищ Azure для платформы оценки частного капитала 73 Strings. Отвечайте за приём данных, преобразование, качество данных, CI/CD и передачу данных клиентам.
Описание
- Формируйте архитектуру платформы для приёма, обработки и передачи данных
- Создавайте и эксплуатируйте пакетные конвейеры и конвейеры потоковой обработки из баз данных, API, потоков событий и полуструктурированных данных
- Реализуйте захват изменений данных и инкрементальную загрузку с поддержкой упорядочивания, удаления, повторного воспроизведения и медленно изменяющихся измерений
- Создавайте наборы данных медальонного уровня и размерные модели данных
- Передавайте данные в Snowflake, Microsoft SQL Server и Databricks
- Обеспечивайте соблюдение контрактов данных, сверку и построчную изоляцию данных до публикации
- Управляйте рабочими процессами GitHub и CI/CD, включая тестирование, проверку кода, продвижение между средами и развёртывание инфраструктуры как кода
- Диагностируйте и устраняйте сбои данных в рабочей среде
- Преобразуйте требования к продукту, оценке и командам клиентов в надёжные операционные конвейеры
Требования
- Не менее 10 лет опыта разработки производственных систем обработки данных
- Практический опыт работы со Snowflake или Databricks в качестве основной платформы, включая моделирование данных, оптимизацию производительности и контроль затрат
- Уверенные навыки Python и SQL для разработки и тестирования конвейеров
- Опыт работы с захватом изменений данных и обработкой событий, включая упорядочивание, повторное воспроизведение и эволюцию схем
- Практический опыт работы с Azure, включая Databricks, ADLS и подключение к частным сетям
- Опыт управления рабочими нагрузками данных с помощью GitHub и CI/CD, используя GitHub Actions или сопоставимую систему
- Опыт обеспечения качества данных, сверки, мониторинга и реагирования на производственные инциденты
- Опыт создания защищённых мультитенантных платформ данных с изоляцией арендаторов, контролем доступа и защитой данных
- Готовность напрямую работать с техническими командами клиентов и сотрудничать с командами выездной инженерии, продукта и другими заинтересованными сторонами
- Желательно: опыт работы с Databricks Lakeflow, Auto CDC, Declarative Automation Bundles и DQX либо с эквивалентами Snowflake, такими как Dynamic Tables, Streams and Tasks, Snowpark, развёртывание через Snowflake CLI и Data Metric Functions
- Желательно: опыт работы с Debezium, Kafka Connect или Confluent Kafka
- Желательно: опыт работы с Apache Airflow или сопоставимым оркестратором рабочих процессов
- Желательно: опыт работы с Kafka или Spark Structured Streaming, Apache Iceberg или Delta Sharing и dbt
- Желательно: опыт работы с данными частных рынков, связанными с оценками, фондами, портфельными компаниями или движением капитала
Преимущества
- Поддерживающая рабочая среда
- Культура, ориентированная на инновации и сотрудничество
- Возможность брать на себя ответственность и проявлять инициативу
- Постоянные возможности для обучения