Sigma Software Group
Sigma Software Group
Sigma Software Group — международная технологическая консалтинговая компания, основанная в 2002 году. Её команды занимаются разработкой программного обеспечения, графическим дизайном, тестированием и технической поддержкой для клиентов из таких отраслей, как автомобилестроение, здравоохранение, телекоммуникации, авиация, банковское дело, игровая индустрия, недвижимость и реклама. Компания нанимает ИТ-специалистов для работы над сложными инженерными проектами и поддерживает профессиональное развитие с помощью наставничества и непрерывного обучения. Возможность удалённой работы является частью рабочей модели компании, а её проекты реализуются для таких организаций, как AstraZeneca, Scania и SAS.

Старший инженер данных по миграции на Databricks

Перенос крупной платформы розничной аналитики с BigQuery на Databricks: разработка архитектур Lakehouse, конвейеров Spark и управляемых решений для работы с данными в Sigma Software Group.

Описание

  • Помогать переносить крупную аналитическую платформу с BigQuery на Databricks.
  • Проектировать и создавать масштабируемые архитектуры Lakehouse с Databricks и Delta Lake.
  • Оценивать существующие рабочие нагрузки ETL и ELT и определять планы миграции.
  • Разрабатывать и настраивать конвейеры для больших объёмов розничных и аналитических данных.
  • Создавать стратегии инкрементальной обработки и масштабируемые среды трансформации данных.
  • Создавать и поддерживать решения для обработки данных в Spark с помощью PySpark.
  • Проектировать и поддерживать слои Bronze, Silver и Gold в медальонной архитектуре.
  • Применять практики управления данными и обеспечения безопасности с Unity Catalog.
  • Работать с командами Data Science, аналитики, продукта и клиентской инженерии.
  • Участвовать в обсуждениях архитектуры и проектировании технических решений.
  • Создавать повторно используемые компоненты платформы данных и инженерные стандарты.
  • Проводить ревью кода и повышать надёжность и удобство сопровождения платформы.
  • Диагностировать и оптимизировать сложные нагрузки SQL и Spark.
  • Поддерживать производственные релизы и модернизацию платформы.

Требования

  • Не менее пяти лет профессионального опыта в инженерии данных.
  • Уверенное владение Python и продвинутый уровень SQL.
  • Практический коммерческий опыт работы с Databricks.
  • Глубокое знание Apache Spark, особенно PySpark.
  • Опыт проектирования и создания современных облачных платформ данных.
  • Опыт разработки конвейеров ETL или ELT и решений для обработки больших объёмов данных.
  • Практический опыт работы с Delta Lake.
  • Опыт работы со Spark Declarative Pipelines.
  • Опыт мониторинга кластеров, анализа метрик и оптимизации производительности.
  • Глубокое понимание архитектур распределённой обработки данных.
  • Хорошее знание хранилищ данных и размерного моделирования.
  • Опыт работы с Airflow или аналогичным инструментом оркестрации.
  • Опыт настройки сложных аналитических SQL-нагрузок.
  • Опыт внедрения практик CI/CD для платформ инженерии данных.
  • Навыки диагностики проблем и оптимизации производительности.
  • Умение сотрудничать с межфункциональными командами в международной среде.
  • Английский язык на уровне выше среднего или выше.

Преимущества

  • Постоянные возможности для обучения.
  • Возможности развивать экспертность в технологиях.
  • Возможность вносить значимый вклад инженерной работой.
  • Работа над сложными международными проектами.

Похожие вакансии

WSP in the U.S.

Специалист по оценке недвижимости и земельным вопросам

WSP in the U.S.

Оказывать услуги по оценке недвижимости, расчету компенсаций и приобретению земель для инфраструктурных проектов по всей Ирландии. Координировать доступ к земельным участкам, процедуры принудительного изъятия и взаимодействие с землевладельцами и участниками проектов.

Открыть
Global Alliant Inc

Старший инженер Azure и Microsoft 365 (гибридный формат, Ашберн)

Global Alliant Inc

Поддержка служб идентификации, доступа и виртуальных рабочих столов в Azure и Microsoft 365. Гибридный график: два дня в неделю в офисе в Ашберне, штат Вирджиния.

Открыть
WSP in the U.S.

Старший консультант по земельным вопросам и принудительному выкупу

WSP in the U.S.

Руководите подготовкой земельной документации, установленными законом процедурами и приобретением земель для крупных инфраструктурных проектов в Ирландии. Координируйте взаимодействие с землевладельцами, получение согласований и работу междисциплинарной команды.

Открыть
WSP in the U.S.

Помощник консультанта по земельным вопросам — Дублин (гибридный формат)

WSP in the U.S.

Участвуйте в инфраструктурных проектах в Ирландии: работа с земельными данными, ГИС, взаимодействие с землевладельцами и приобретение прав на землю. Гибридная работа в Дублине.

Открыть
Ecolab

Технический консультант по ионообменным смолам

Ecolab

Предоставляйте экспертную поддержку по применению ионообменных и специальных смол Purolite компании Ecolab. Помогайте клиентам по всей Европе: решайте технические проблемы, поддерживайте продажи и проводите обучение.

Открыть
YASH Technologies

Старший консультант SAP S/4HANA SD

YASH Technologies

Внедряйте SAP S/4HANA SD для процессов от заказа до оплаты и интеграций в YASH Technologies. Поддерживайте тиражирование решений, основные данные, ценообразование, налоги, проверки доступности и межфункциональные процессы SAP.

Открыть
UNESCO

Старший консультант по оценке потенциала водного сектора в Западной Африке

UNESCO

ЮНЕСКО ищет консультанта для оценки дефицита потенциала водного сектора в Западной Африке и одной пилотной стране. Работа включает региональные рекомендации и план развития потенциала для страны.

Открыть
InterScripts, Inc.

Консультант по разработке Epic SmartForms

InterScripts, Inc.

Проектируйте и внедряйте сложные Epic SmartForms для детской системы здравоохранения. Обучайте аналитиков Epic и создавайте повторно используемые стандарты и рабочие процессы.

Открыть
InterScripts, Inc.

Старший сертифицированный консультант Epic HIM (удалённо, США)

InterScripts, Inc.

Оказывайте временную поддержку приложения Epic HIM в детской медицинской системе: сопровождайте рабочие процессы и устраняйте неполадки. Обучите нового аналитика, документируйте процессы и подготовьте команду к плавной передаче обязанностей.

Открыть
cognitivo AG

ИТ-консультант по банковскому делу и платежам

cognitivo AG

Консультируйте банки и поставщиков финансовых услуг по вопросам ИТ-трансформации, платежных решений и внедрения ИИ в Cognitivo — специализированной финансовой консалтинговой компании.

Открыть