Sigma Software Group — международная технологическая консалтинговая компания, основанная в 2002 году. Её команды занимаются разработкой программного обеспечения, графическим дизайном, тестированием и технической поддержкой для клиентов из таких отраслей, как автомобилестроение, здравоохранение, телекоммуникации, авиация, банковское дело, игровая индустрия, недвижимость и реклама. Компания нанимает ИТ-специалистов для работы над сложными инженерными проектами и поддерживает профессиональное развитие с помощью наставничества и непрерывного обучения. Возможность удалённой работы является частью рабочей модели компании, а её проекты реализуются для таких организаций, как AstraZeneca, Scania и SAS.
Инженер данных (Azure, Spark) — удалённая работа в Украине
Создавайте масштабируемые платформы данных и конвейеры на Azure для аналитики, отчётности и принятия решений на основе данных. Разрабатывайте процессы на Spark и надёжную обработку данных совместно с несколькими командами.
Описание
- Создавайте масштабируемые и надёжные платформы данных и конвейеры для аналитических и операционных задач.
- Разрабатывайте процессы обработки данных с помощью распределённых платформ, таких как Apache Spark и PySpark в Databricks.
- Развивайте облачную платформу данных с помощью сервисов Azure, включая Data Factory, Synapse, Microsoft Fabric, Databricks, Event Hub и Azure Data Lake Storage.
- Интегрируйте и обрабатывайте внутренние и внешние данные, обеспечивая их согласованность, качество и надёжность.
- Отвечайте за надёжность, мониторинг и производительность конвейеров.
- Сотрудничайте с аналитиками, специалистами по данным и инженерами, превращая бизнес-задачи и потребности аналитики в надёжные решения для работы с данными.
- Совершенствуйте практики инженерии данных, включая стандарты конвейеров, тестирование и операционную надёжность.
- Оценивайте инструменты и технологии для инженерии данных и помогайте внедрять их.
Требования
- Имеете не менее четырёх лет практического опыта в инженерии данных или создании платформ обработки данных.
- Уверенно владеете SQL и хорошо знаете Python для разработки и поддержки конвейеров данных.
- Имеете опыт работы с платформами распределённой обработки, такими как Apache Spark или PySpark; опыт работы с Databricks будет большим преимуществом.
- Имеете практический опыт проектирования и реализации облачных конвейеров данных, желательно на Azure.
- Проектировали конвейеры и модели данных для аналитических систем промышленного масштаба.
- Знаете принципы проектирования ETL/ELT, размерного моделирования и хранилищ данных.
- Имеете опыт работы с современными архитектурами озёр данных и форматами, такими как Parquet и JSON.
- Использовали инструменты оркестрации процессов, такие как Airflow.
- Имеете опыт разработки баз данных и оптимизации производительности.
- Умеете самостоятельно проектировать масштабируемые и удобные в сопровождении решения для работы с данными.
- Эффективно общаетесь и сотрудничаете с коллегами.
- Владеете английским на уровне, достаточном для профессиональной работы.
- Имеете опыт работы с облачными хранилищами данных, такими как Snowflake, BigQuery или Redshift.
- Имеете опыт работы с технологиями потоковой обработки, такими как Event Hub, Kafka или Spark Streaming.
- Имеете опыт работы с Delta Lake или другими технологиями lakehouse.
- Знакомы с практиками CI/CD и рабочими процессами разработки на основе Git.
- Имеете опыт работы в гибких средах разработки.
Преимущества
- Удалённый формат работы.