Sigma Software Group
Sigma Software Group
Sigma Software Group — международная технологическая консалтинговая компания, основанная в 2002 году. Её команды занимаются разработкой программного обеспечения, графическим дизайном, тестированием и технической поддержкой для клиентов из таких отраслей, как автомобилестроение, здравоохранение, телекоммуникации, авиация, банковское дело, игровая индустрия, недвижимость и реклама. Компания нанимает ИТ-специалистов для работы над сложными инженерными проектами и поддерживает профессиональное развитие с помощью наставничества и непрерывного обучения. Возможность удалённой работы является частью рабочей модели компании, а её проекты реализуются для таких организаций, как AstraZeneca, Scania и SAS.

Старший инженер данных — миграция на Databricks

Миграция корпоративной розничной аналитики с BigQuery на Databricks Lakehouse. Разработка масштабируемых конвейеров PySpark, медальонной архитектуры и управляемых облачных платформ данных.

Описание

  • Помогать переносить крупномасштабную аналитическую платформу с BigQuery на Databricks.
  • Проектировать и создавать масштабируемые архитектуры Lakehouse на Databricks и Delta Lake.
  • Оценивать существующие ETL- и ELT-нагрузки и определять подходы к миграции.
  • Создавать и оптимизировать конвейеры для больших объемов розничных и аналитических данных.
  • Внедрять стратегии инкрементальной обработки и масштабируемые фреймворки преобразования данных.
  • Разрабатывать и поддерживать решения для обработки данных в Spark с использованием PySpark.
  • Проектировать и поддерживать медальонные слои Bronze, Silver и Gold.
  • Применять практики управления данными и обеспечения безопасности с помощью Unity Catalog.
  • Работать с командами Data Science, аналитики, продукта и клиентской инженерии.
  • Участвовать в обсуждении архитектуры и проектировании технических решений.
  • Создавать повторно используемые компоненты платформы данных и инженерные стандарты.
  • Проверять код и повышать надежность и удобство сопровождения платформы.
  • Находить и устранять проблемы, оптимизировать сложные нагрузки SQL и Spark.
  • Поддерживать развертывание в промышленной среде и модернизацию платформы.

Требования

  • Иметь не менее пяти лет профессионального опыта работы инженером данных.
  • Уверенно программировать на Python и владеть SQL на продвинутом уровне.
  • Иметь практический коммерческий опыт работы с Databricks.
  • Хорошо знать Apache Spark, особенно PySpark.
  • Иметь опыт проектирования и создания современных облачных платформ данных.
  • Иметь опыт разработки ETL- и ELT-конвейеров и решений для обработки больших объемов данных.
  • Иметь практический опыт работы с Delta Lake.
  • Иметь опыт работы со Spark Declarative Pipelines.
  • Иметь опыт мониторинга кластеров, анализа метрик и оптимизации производительности.
  • Понимать архитектуры распределенной обработки данных.
  • Понимать принципы построения хранилищ данных и размерного моделирования.
  • Иметь опыт работы с Airflow или сопоставимым инструментом оркестрации.
  • Иметь опыт оптимизации сложных аналитических SQL-нагрузок.
  • Иметь опыт применения практик CI/CD в платформах инженерии данных.
  • Уметь устранять неполадки и оптимизировать производительность.
  • Эффективно работать в международных межфункциональных командах.
  • Владеть английским языком на уровне выше среднего (Upper-Intermediate) или выше.

Преимущества

  • Сотрудникам доступна удаленная работа.
  • Возможности для непрерывного обучения.
  • Возможности профессионального роста вместе с развитием технологий.
  • Возможность оказывать значимое влияние благодаря инженерной работе.
  • Работа над сложными международными проектами.

Похожие вакансии

Intetics

Старший архитектор данных (французский язык)

Intetics

Формируйте масштабируемую архитектуру данных и платформы SQL Server для Intetics. Работа охватывает управление данными, интеграции REST и тестирование внедрения.

Открыть
Sedona Digital

Ведущий инженер данных, удалённо в Румынии | Sedona Digital

Sedona Digital

Создавайте и поддерживайте платформы данных на PySpark, SQL и Databricks для клиентов Sedona Digital в страховом секторе. Работайте с конвейерами данных, сверкой, качеством данных и облачными решениями.

Открыть
Intetics

Инженер данных для машинного обучения — удалённо из Румынии

Intetics

Создавайте инфраструктуру данных в реальном времени, графовые модели и системы временных рядов для анализа спортивных результатов. Поддерживайте оценку машинного обучения и системы ИИ для клиента Intetics из США.

Открыть
AllCloud

Инженер данных со знанием иврита

AllCloud

Создавайте платформы lakehouse, конвейеры данных и решения на базе ИИ для облачных консалтинговых клиентов AllCloud. Проектируйте масштабируемые архитектуры и помогайте заказчикам модернизировать системы данных.

Открыть
Globaldev Group

Удалённый инженер по данным для бэкенда — Украина

Globaldev Group
201 – 500 Сотрудники
SaaSКонсалтингЛогистика

Создавайте масштабируемые конвейеры данных, модели и бэкенд-инфраструктуру для развивающихся продуктов на основе данных. Работайте с dbt, Snowflake, Databricks, платформами оркестрации и инструментами GenAI для разработки.

Открыть