Brillio — консалтинговая технологическая компания, которая помогает организациям проходить цифровую трансформацию в сферах здравоохранения, страхования, логистики, финансовых услуг, телекоммуникаций и медиа, наук о жизни и розничной торговли. Компания работает с клиентским опытом, данными и искусственным интеллектом, генеративным ИИ, разработкой продуктов и платформ, а также инфраструктурой, облачными технологиями и безопасностью. Brillio объединяет инженерную экспертизу с отраслевыми знаниями, чтобы создавать цифровые продукты и модернизировать технологические среды, помогая бизнесу реагировать на меняющиеся требования рынка и технологий.
Гибридный инженер по данным — dbt и Snowflake в Brillio
Присоединяйтесь к Brillio в роли инженера по данным: занимайтесь обратной разработкой логики ценообразования и преобразуйте её в управляемые dbt-модели уровня Silver. Проверяйте соответствие результатов, документируйте происхождение данных и выводите из эксплуатации устаревшие определения уровня Gold после одобрения аналитиков.
Описание
- Сотрудничать с аналитиками по ценообразованию для выявления определений уровня Gold, расчётов, преобразований, зависимостей, допущений, пограничных случаев и неоднозначностей
- Проводить обратную разработку SQL-запросов аналитиков, формул электронных таблиц и разовых расчётов, чтобы установить предполагаемое бизнес-поведение
- Преобразовывать устаревшую логику в чётко определённые технические требования и практические планы миграции
- Создавать одобренные определения ценообразования в виде управляемых, повторно используемых и документированных dbt-моделей уровня Silver
- Применять установленные стандарты моделирования данных, именования, тестирования, контроля версий и проверки кода
- Создавать масштабируемые, сопровождаемые и проверяемые модели, не зависящие от недокументированных знаний аналитиков
- Реализовывать dbt-тесты для проверки уникальности, допустимости null-значений, разрешённых значений, связей и бизнес-правил
- Сопоставлять результаты уровня Silver с существующими результатами уровня Gold и исследовать расхождения
- Тестировать результаты миграции на репрезентативных периодах, сегментах, граничных условиях и известных исключениях
- Завершать миграции после проверки соответствия и одобрения аналитика по ценообразованию
- Работать с аналитиками по ценообразованию для уточнения расчётов, подтверждения предполагаемого поведения и согласования ожидаемых результатов
- Проводить демонстрации и проверки, фиксируя одобрение аналитиков до вывода устаревших определений из эксплуатации
- Информировать технических и бизнес-заинтересованных лиц о рисках, нерешённых вопросах, зависимостях и принятых решениях
- Фиксировать бизнес-контекст, правила расчётов, допущения, исключения, входные данные, ответственность, происхождение данных, тесты и последующих потребителей в dbt и Confluence
- Выводить разовую логику уровня Gold из эксплуатации после проверки, одобрения и внедрения замены уровня Silver, а также обновления её последующих зависимостей
- Подтверждать, что выведенная из эксплуатации логика больше не используется, и обновлять операционную документацию с учётом нового источника истины
Требования
- От пяти до восьми лет опыта в инженерии данных для аналитических платформ данных
- Продвинутое владение SQL, включая объединения, оконные функции, CTE, агрегации, условную логику и оптимизацию
- Практический опыт работы с dbt, включая модели, тесты, документацию и происхождение данных
- Глубокие знания Snowflake, включая моделирование данных, настройку производительности и концепции хранилищ
- Опыт рефакторинга, миграции или модернизации сложной аналитической логики
- Умение интерпретировать разовые SQL-запросы и расчёты в электронных таблицах, а также проверять их результаты
- Глубокое понимание качества данных, сверки, тестирования и контроля выпуска
- Умение работать с заинтересованными лицами, не занимающимися инженерией, для уточнения требований и проверки результатов
- Чёткая коммуникация и системный подход к документированию
- Опыт работы с Python будет преимуществом
- Опыт работы с Airflow, Confluence, Jira и Slack
- Опыт в моделировании данных, проверке качества, сверке, планировании миграций, взаимодействии с заинтересованными лицами и техническом документировании