Sigma Software Group — міжнародна технологічна консалтингова компанія, заснована у 2002 році. Її команди займаються розробленням програмного забезпечення, графічним дизайном, тестуванням і технічною підтримкою для клієнтів у таких галузях, як автомобілебудування, охорона здоров’я, телекомунікації, авіація, банківська справа, ігрова індустрія, нерухомість і реклама. Компанія наймає ІТ-фахівців для роботи над складними інженерними проєктами та підтримує професійний розвиток за допомогою наставництва й безперервного навчання. Можливість віддаленої роботи є частиною робочої моделі компанії, а її проєкти реалізуються для таких організацій, як AstraZeneca, Scania і SAS.
Middle Data Engineer (Azure, Spark) — віддалено, Польща
Створюйте платформи даних на Azure та масштабовані конвеєри для аналітики й операційної діяльності. Розробляйте процеси на Spark, моделі даних і надійні хмарні рішення для роботи з даними.
Опис
- Створюйте масштабовані й надійні платформи даних та конвеєри для аналітики й операційної діяльності
- Розробляйте розподілені процеси обробки даних з Apache Spark, PySpark і Databricks
- Розширюйте хмарну платформу даних за допомогою Azure Data Factory, Synapse, Event Hub і Azure Data Lake Storage
- Створюйте моделі даних для аналітики, звітності та подальшого використання
- Інтегруйте й обробляйте дані з різних джерел, підтримуючи їхню якість і узгодженість
- Відстежуйте та покращуйте продуктивність, надійність і масштабованість конвеєрів
- Співпрацюйте з аналітиками, фахівцями з даних та інженерами, перетворюючи вимоги на рішення
- Удосконалюйте практики інженерії даних, тестування й операційну надійність
- Оцінюйте та впроваджуйте інструменти й технології для екосистеми інженерії даних
Вимоги
- Щонайменше чотири роки практичного досвіду в інженерії даних або створенні платформ обробки даних
- Впевнене володіння SQL
- Ґрунтовний практичний досвід розробки конвеєрів на Python
- Досвід роботи з платформами розподіленої обробки, як-от Apache Spark або PySpark; бажано знати Databricks
- Практичний досвід проєктування та створення конвеєрів у хмарних середовищах; бажано Azure
- Досвід роботи з аналітичними системами промислового масштабу та моделюванням даних
- Знання принципів проєктування ETL/ELT, багатовимірного моделювання та сховищ даних
- Досвід роботи із сучасними архітектурами озер даних і форматами, як-от Parquet і JSON
- Знайомство з інструментами оркестрації робочих процесів, як-от Airflow
- Досвід розробки й оптимізації баз даних
- Уміння проєктувати масштабовані рішення з мінімальним наглядом
- Навички співпраці та комунікації
- Професійне володіння англійською мовою
Переваги
- Можливості для професійного розвитку
- Доброзичливе робоче середовище
- Конкурентний пакет пільг
- Можливість віддаленої роботи