Sigma Software Group
Sigma Software Group
Sigma Software Group — міжнародна технологічна консалтингова компанія, заснована у 2002 році. Її команди займаються розробленням програмного забезпечення, графічним дизайном, тестуванням і технічною підтримкою для клієнтів у таких галузях, як автомобілебудування, охорона здоров’я, телекомунікації, авіація, банківська справа, ігрова індустрія, нерухомість і реклама. Компанія наймає ІТ-фахівців для роботи над складними інженерними проєктами та підтримує професійний розвиток за допомогою наставництва й безперервного навчання. Можливість віддаленої роботи є частиною робочої моделі компанії, а її проєкти реалізуються для таких організацій, як AstraZeneca, Scania і SAS.

Старший інженер даних — міграція на Databricks

Міграція корпоративної роздрібної аналітики з BigQuery на Databricks Lakehouse. Розробка масштабованих конвеєрів PySpark, медальйонної архітектури та керованих хмарних платформ даних.

Опис

  • Допомагати переносити масштабну аналітичну платформу з BigQuery на Databricks.
  • Проєктувати й створювати масштабовані архітектури Lakehouse на Databricks і Delta Lake.
  • Оцінювати наявні ETL- і ELT-навантаження та визначати підходи до міграції.
  • Створювати й оптимізувати конвеєри для великих обсягів роздрібних та аналітичних даних.
  • Впроваджувати стратегії інкрементальної обробки та масштабовані фреймворки перетворення даних.
  • Розробляти й підтримувати рішення для обробки даних у Spark за допомогою PySpark.
  • Проєктувати й підтримувати медальйонні шари Bronze, Silver і Gold.
  • Застосовувати практики керування даними та безпеки за допомогою Unity Catalog.
  • Співпрацювати з командами Data Science, аналітики, продукту та клієнтської інженерії.
  • Долучатися до обговорення архітектури та проєктування технічних рішень.
  • Створювати повторно використовувані компоненти платформи даних та інженерні стандарти.
  • Перевіряти код і підвищувати надійність та зручність супроводу платформи.
  • Усувати проблеми й оптимізувати складні навантаження SQL і Spark.
  • Підтримувати розгортання у промисловому середовищі та модернізацію платформи.

Вимоги

  • Мати щонайменше п’ять років професійного досвіду роботи інженером даних.
  • Впевнено програмувати на Python і володіти SQL на просунутому рівні.
  • Мати практичний комерційний досвід роботи з Databricks.
  • Добре знати Apache Spark, особливо PySpark.
  • Мати досвід проєктування та створення сучасних хмарних платформ даних.
  • Мати досвід розробки ETL- і ELT-конвеєрів та рішень для обробки великих обсягів даних.
  • Мати практичний досвід роботи з Delta Lake.
  • Мати досвід роботи зі Spark Declarative Pipelines.
  • Мати досвід моніторингу кластерів, аналізу метрик та оптимізації продуктивності.
  • Розуміти архітектури розподіленої обробки даних.
  • Розуміти принципи побудови сховищ даних і вимірювального моделювання.
  • Мати досвід роботи з Airflow або подібним інструментом оркестрації.
  • Мати досвід оптимізації складних аналітичних SQL-навантажень.
  • Мати досвід застосування практик CI/CD у платформах інженерії даних.
  • Уміти усувати несправності й оптимізувати продуктивність.
  • Ефективно працювати в міжнародних міжфункціональних командах.
  • Володіти англійською на рівні вище середнього (Upper-Intermediate) або вище.

Переваги

  • Співробітникам доступна віддалена робота.
  • Можливості для безперервного навчання.
  • Можливості професійно зростати разом із розвитком технологій.
  • Можливість робити вагомий внесок завдяки інженерній роботі.
  • Робота над складними міжнародними проєктами.

Схожі вакансії

Intetics

Старший архітектор даних (французька мова)

Intetics

Формуйте масштабовану архітектуру даних і платформи SQL Server для Intetics. Робота охоплює управління даними, інтеграції REST і тестування впровадження.

Відкрити
Sedona Digital

Провідний інженер даних, дистанційно в Румунії | Sedona Digital

Sedona Digital

Створюйте й підтримуйте платформи даних на PySpark, SQL і Databricks для клієнтів Sedona Digital у страховому секторі. Працюйте з конвеєрами даних, звірянням, якістю даних і хмарними рішеннями.

Відкрити
Intetics

Інженер даних для машинного навчання — віддалено з Румунії

Intetics

Створюйте інфраструктуру даних у реальному часі, графові моделі й системи часових рядів для аналізу спортивних результатів. Підтримуйте оцінювання машинного навчання та системи ШІ для клієнта Intetics зі США.

Відкрити
AllCloud

Інженер даних зі знанням івриту

AllCloud

Створюйте платформи lakehouse, конвеєри даних і рішення на основі ШІ для клієнтів AllCloud у сфері хмарного консалтингу. Проєктуйте масштабовані архітектури та допомагайте клієнтам модернізувати системи даних.

Відкрити
Globaldev Group

Віддалений бекенд-інженер із даних — Україна

Globaldev Group
201 – 500 Працівники
SaaSКонсалтингЛогістика

Створюйте масштабовані конвеєри даних, моделі та бекенд-інфраструктуру для продуктів, що розвиваються на основі даних. Працюйте з dbt, Snowflake, Databricks, платформами оркестрації та інструментами GenAI для розробки.

Відкрити