Sigma Software Group — международная технологическая консалтинговая компания, основанная в 2002 году. Её команды занимаются разработкой программного обеспечения, графическим дизайном, тестированием и технической поддержкой для клиентов из таких отраслей, как автомобилестроение, здравоохранение, телекоммуникации, авиация, банковское дело, игровая индустрия, недвижимость и реклама. Компания нанимает ИТ-специалистов для работы над сложными инженерными проектами и поддерживает профессиональное развитие с помощью наставничества и непрерывного обучения. Возможность удалённой работы является частью рабочей модели компании, а её проекты реализуются для таких организаций, как AstraZeneca, Scania и SAS.
Middle Data Engineer (Azure, Spark) — удалённо, Польша
Создавайте платформы данных на Azure и масштабируемые конвейеры для аналитики и операционной деятельности. Разрабатывайте процессы на Spark, модели данных и надёжные облачные решения для работы с данными.
Описание
- Создавайте масштабируемые и надёжные платформы данных и конвейеры для аналитики и операционной деятельности
- Разрабатывайте распределённые процессы обработки данных с Apache Spark, PySpark и Databricks
- Расширяйте облачную платформу данных с помощью Azure Data Factory, Synapse, Event Hub и Azure Data Lake Storage
- Создавайте модели данных для аналитики, отчётности и дальнейшего использования
- Интегрируйте и обрабатывайте данные из разных источников, обеспечивая их качество и согласованность
- Контролируйте и повышайте производительность, надёжность и масштабируемость конвейеров
- Взаимодействуйте с аналитиками, специалистами по данным и инженерами, превращая требования в решения
- Совершенствуйте практики разработки данных, тестирование и операционную надёжность
- Оценивайте и внедряйте инструменты и технологии для экосистемы разработки данных
Требования
- Не менее четырёх лет практического опыта в разработке данных или создании платформ обработки данных
- Уверенное владение SQL
- Хороший практический опыт разработки конвейеров на Python
- Опыт работы с платформами распределённой обработки, такими как Apache Spark или PySpark; предпочтительно знание Databricks
- Практический опыт проектирования и создания конвейеров в облачных средах; предпочтительно Azure
- Опыт работы с аналитическими системами промышленного масштаба и моделированием данных
- Знание принципов проектирования ETL/ELT, многомерного моделирования и хранилищ данных
- Опыт работы с современными архитектурами озёр данных и форматами, такими как Parquet и JSON
- Знакомство с инструментами оркестрации процессов, такими как Airflow
- Опыт разработки и оптимизации баз данных
- Умение проектировать масштабируемые решения с минимальным контролем
- Навыки взаимодействия и коммуникации
- Профессиональное владение английским языком
Преимущества
- Возможности для профессионального роста
- Поддерживающая рабочая среда
- Конкурентный пакет льгот
- Возможность работать удалённо