EUROPEAN DYNAMICS
EUROPEAN DYNAMICS
EUROPEAN DYNAMICS разрабатывает программное обеспечение для электронного управления и оказывает ИТ-услуги учреждениям, организациям и крупным предприятиям по всему миру. В портфель компании входят электронные реестры населения и бизнеса, системы управления финансовыми данными, платформы для государственных закупок, облачные решения, консалтинг, разработка заказного программного обеспечения и аутсорсинг. Компания также инвестирует в исследования и разработки в области новых информационно-коммуникационных технологий и участвует в международных проектах. Осуществляя деятельность более чем в 47 странах, EUROPEAN DYNAMICS уделяет особое внимание качеству и безопасности своих продуктов и услуг.

Старший инженер по аналитике баз данных

Создавайте и оптимизируйте конвейеры данных на dbt, PySpark и Apache Iceberg для технологических проектов государственного сектора Европы. Гибридный формат работы в Брюсселе: в офисе компании или у клиента.

Описание

  • Создавайте надежные и масштабируемые конвейеры и рабочие процессы преобразования данных.
  • Повышайте производительность проектов dbt и сокращайте время их выполнения.
  • Создавайте и документируйте проверки качества данных и контрольные тесты dbt.
  • Настраивайте автоматизированные регрессионные тесты и проверки, чтобы поддерживать качество и согласованность результатов конвейеров.
  • Делитесь с командой практиками сопровождения и развития проектов dbt.
  • Преобразуйте бизнес-требования и аналитические документы в рабочие конвейеры трансформации данных.
  • Сотрудничайте на площадке с командой разработки и ИТ-командой крупного клиента.

Требования

  • Высшее образование в области информатики, информационных технологий, системной инженерии или смежной области, а также не менее 12 лет релевантного опыта в ИТ.
  • Практический опыт использования dbt, предпочтительно dbt Core, для проектирования, сопровождения, тестирования, документирования и расширения промышленных проектов аналитических преобразований.
  • Опыт в области аналитической инженерии и современного моделирования данных, включая многоуровневые архитектуры, повторно используемые макросы, средства контроля качества данных и CI/CD.
  • Опыт написания преобразований PySpark для обработки больших объемов данных; оптимизация заданий Spark будет преимуществом.
  • Практический опыт работы с Apache Iceberg, включая управление секционированием и эволюцией схем, снимками и функцией time travel.
  • Опыт работы с инструментами оркестрации и планирования заданий, такими как Dagster.
  • Глубокое знание SAS ETL и унаследованных кодовых баз; миграция рабочих процессов SAS на dbt будет значительным преимуществом.
  • Отличное знание SQL, включая сложные преобразования, оптимизацию производительности и инкрементальную обработку.
  • Хорошее понимание выполнения Apache Spark, секционирования, оптимизации расположения файлов и настройки производительности.
  • Глубокое знание проверки и сверки данных, а также тестирования при миграции устаревших систем на dbt и PySpark.
  • Знание систем контроля версий и совместной разработки, включая Git, проверку кода, управление выпусками и автоматизированные конвейеры развертывания.
  • Отличное владение английским языком.

Преимущества

  • Конкурентная оплата с учетом квалификации и опыта.
  • На выбор: работа по контракту или пакет вознаграждения с полным набором льгот.
  • Конфиденциальный процесс подачи заявки.
  • Международная, многоязычная и мультикультурная рабочая среда.
  • Равные возможности при трудоустройстве.

Похожие вакансии

EUROPEAN DYNAMICS

Старший инженер по аналитике баз данных

EUROPEAN DYNAMICS

Создавайте масштабируемые конвейеры данных с dbt, PySpark и Iceberg. Поддерживайте европейские учреждения с помощью аналитической инженерии, тестирования и миграции с устаревших систем SAS.

Открыть