Sigma Software Group
Sigma Software Group
Sigma Software Group — международная технологическая консалтинговая компания, основанная в 2002 году. Её команды занимаются разработкой программного обеспечения, графическим дизайном, тестированием и технической поддержкой для клиентов из таких отраслей, как автомобилестроение, здравоохранение, телекоммуникации, авиация, банковское дело, игровая индустрия, недвижимость и реклама. Компания нанимает ИТ-специалистов для работы над сложными инженерными проектами и поддерживает профессиональное развитие с помощью наставничества и непрерывного обучения. Возможность удалённой работы является частью рабочей модели компании, а её проекты реализуются для таких организаций, как AstraZeneca, Scania и SAS.

Ведущий инженер данных

Создавайте облачные платформы данных и почти мгновенные конвейеры, модернизируя решения на Spark и PySpark. Внедряйте ИИ-инструменты и агентные процессы, участвуйте в технических исследованиях и разработках.

Описание

  • Создавайте масштабируемые облачные платформы данных — от первоначального проектирования до запуска в production.
  • Разрабатывайте конвейеры приёма данных с почти мгновенной обработкой на основе событийных моделей.
  • Определяйте и поддерживайте стандарты платформы для озёр данных, lakehouse-решений, медальонной архитектуры и контрактов данных.
  • Оптимизируйте скрипты Spark и PySpark для повышения производительности и удобства сопровождения.
  • Внедряйте практики обеспечения качества кода, тестирования и CI/CD во всех конвейерах данных.
  • Продвигайте ИИ-инструменты и агентные процессы в команде инженерии данных.
  • Поддерживайте качество данных, наблюдаемость, масштабируемость и надёжность платформ и конвейеров.
  • Создавайте инструменты самообслуживания и микросервисы, упрощающие работу с платформой.
  • Сотрудничайте с командами продукта, машинного обучения и науки о данных.
  • Участвуйте в принятии архитектурных решений, технических исследованиях и разработках.

Требования

  • Имеете не менее пяти лет профессионального опыта в инженерии данных.
  • Уверенно владеете Python и SQL.
  • Имеете практический опыт работы с Apache Spark и PySpark, включая оптимизацию запросов и настройку производительности.
  • Работали с Databricks или Snowflake.
  • Имеете практический опыт работы как минимум с одним крупным облачным провайдером: Azure, AWS или GCP.
  • Работали с инструментами потоковой обработки, такими как Kafka или Spark Structured Streaming.
  • Понимаете подходы ETL/ELT, моделирование данных и хранилища данных.
  • Использовали инструменты оркестрации, например Apache Airflow или Azure Data Factory.
  • Знаете инструменты Infrastructure as Code, включая Terraform.
  • Понимаете требования к промышленным системам, в том числе к наблюдаемости, масштабируемости, надёжности и производительности.
  • Способны самостоятельно вести технические инициативы от идеи до реализации.
  • Эффективно общаетесь и взаимодействуете с коллегами.
  • Владеете английским на уровне Upper-Intermediate или выше.

Преимущества

  • Возможность работать удалённо.

Похожие вакансии

Sowelo Consulting sp. z o.o. sp. k.

Старший архитектор данных: Databricks и Lakehouse

Sowelo Consulting sp. z o.o. sp. k.

Руководите клиентскими проектами по созданию платформ Lakehouse на Databricks для консалтинговой компании в сфере ИИ и данных. Определяйте архитектуру облачной инженерии данных, миграций, аналитики и решений на основе ИИ.

Открыть
Sowelo Consulting sp. z o.o. sp. k.

Ведущий инженер данных, Databricks — удалённо в Польше

Sowelo Consulting sp. z o.o. sp. k.

Создавайте масштабируемые конвейеры Databricks в консалтинговой компании, которая разрабатывает решения в области ИИ и данных. Поддерживайте корпоративную аналитику, MLOps и проекты генеративного ИИ.

Открыть
Intetics

Старший архитектор данных (французский язык)

Intetics

Формируйте масштабируемую архитектуру данных и платформы SQL Server для Intetics. Работа охватывает управление данными, интеграции REST и тестирование внедрения.

Открыть
Intetics

Инженер данных для машинного обучения — удалённо из Румынии

Intetics

Создавайте инфраструктуру данных в реальном времени, графовые модели и системы временных рядов для анализа спортивных результатов. Поддерживайте оценку машинного обучения и системы ИИ для клиента Intetics из США.

Открыть
TetraScience

Ведущий инженер научных данных (Германия, удалённо)

TetraScience

Создавайте интеграции с поддержкой ИИ и продукты данных для клиентов TetraScience в сфере наук о жизни. Внедряйте научные решения в облачной, локальной и гибридной средах.

Открыть