73 Strings — глобальная финтех-компания, разрабатывающая технологии дополненного интеллекта для анализа, оценки и мониторинга неликвидных активов. Ее платформа объединяет извлечение данных, мониторинг портфелей и процессы оценки, помогая управляющим альтернативными активами превращать сложные финансовые данные в своевременные и практически применимые аналитические выводы. Компания работает с фондами прямых инвестиций, венчурными фондами, фондами частного кредитования и инфраструктурными фондами, повышая эффективность и качество процессов оценки благодаря аналитике на основе искусственного интеллекта.
Старший инженер данных в 73 Strings — гибридный формат, Индия
Руководите защищёнными пакетными и потоковыми конвейерами данных для платформы оценки частного капитала 73 Strings. Работайте с Azure, Databricks, Snowflake и инфраструктурой CI/CD.
Описание
- Разрабатывайте и запускайте конвейеры, интеграции и хранилища данных для поддержки оценки и мониторинга
- Отвечайте за производственные потоки данных — от получения исходных данных до преобразования, сверки и передачи клиенту
- Управляйте рабочими процессами на базе GitHub с автоматизированным тестированием, непрерывной интеграцией и развёртыванием
- Участвуйте в развитии архитектуры платформы на уровнях приёма, обработки и доставки данных
- Создавайте и эксплуатируйте пакетные и потоковые конвейеры с использованием баз данных, API, потоков событий и полуструктурированных данных
- Реализуйте захват изменений данных и инкрементальную загрузку с поддержкой упорядочивания, удаления, повторного воспроизведения и медленно изменяющихся измерений
- Разрабатывайте наборы данных в рамках медальонной архитектуры и размерные модели в Snowflake, Microsoft SQL Server и Databricks
- Обеспечивайте соблюдение контрактов данных, проверок сверки и построчной изоляции данных до их публикации
- Отвечайте за процессы GitHub и CI/CD для рабочих нагрузок данных, включая тестирование, проверку кода, продвижение между средами и развёртывание инфраструктуры как кода
- Диагностируйте инциденты с производственными данными и преобразуйте требования продукта, оценки и клиентов в надёжные операционные конвейеры
Требования
- Не менее 10 лет опыта разработки производственных систем обработки данных
- Экспертное знание Snowflake или Databricks в качестве основной платформы, включая моделирование данных, настройку производительности и управление затратами
- Уверенное владение Python и SQL для разработки и тестирования конвейеров
- Опыт работы с захватом изменений данных и обработкой событий, включая упорядочивание, повторное воспроизведение и эволюцию схем
- Практический опыт работы с Azure, включая Databricks, ADLS и подключение к частным сетям
- Опыт использования GitHub и CI/CD для рабочих нагрузок данных через GitHub Actions или эквивалентную платформу
- Знание методов контроля качества данных, сверки, мониторинга и реагирования на производственные инциденты
- Опыт создания защищённых многопользовательских платформ данных с изоляцией арендаторов, контролем доступа и защитой данных
- Желательно: Databricks Lakeflow, Auto CDC, Declarative Automation Bundles и DQX либо сопоставимые возможности Snowflake
- Желательно: Debezium, Kafka Connect или Confluent Kafka
- Желательно: Apache Airflow или сопоставимый оркестратор рабочих процессов
- Желательно: Kafka или Spark Structured Streaming, Apache Iceberg или Delta Sharing и dbt
- Желательно: опыт работы с данными частных рынков, такими как оценки, фонды, портфельные компании или движение капитала
- Способность напрямую работать с техническими командами клиентов и сотрудничать с инженерными командами на местах, продуктовой командой и другими заинтересованными сторонами
Преимущества
- Поддерживающая рабочая среда
- Возможность проявлять инициативу и руководить улучшениями
- Постоянные возможности для профессионального обучения
- Культура сотрудничества