Acuity
Acuity
Acuity — промышленно-технологическая компания из Атланты, специализирующаяся на решениях в области освещения и управления зданиями. В подразделениях Acuity Brands Lighting и Acuity Intelligent Spaces около 13 000 сотрудников разрабатывают интеллектуальные осветительные продукты и инструменты для управления пространствами, помогая клиентам улучшать пользовательский опыт, производительность и устойчивое развитие. Компания объединяет совместимость данных с передовыми технологическими платформами, чтобы отвечать меняющимся потребностям в сферах строительства, консалтинга и энергетики.

Ведущий инженер данных в Acuity — Корк, Ирландия (работа на месте)

Создавайте конвейеры lakehouse на Databricks и Azure для бизнеса Acuity в сфере промышленных технологий. Разрабатывайте надёжные продукты данных для отчётности, аналитики, ИИ и последующих приложений.

Описание

  • Создавайте и оптимизируйте масштабируемые конвейеры ETL/ELT с Databricks, Python/PySpark, SQL, Delta Lake и Azure.
  • Загружайте данные из баз данных, API, файлов, SaaS-приложений и источников событий с помощью пакетной и потоковой обработки.
  • Разрабатывайте повторно используемые наборы данных bronze, silver и gold с применением методов на основе метаданных и конфигураций.
  • Внедряйте инкрементальную обработку, эволюцию схем, обработку ошибок, восстановление, сверку и аудит.
  • Применяйте правила качества данных, тестирование, отслеживание происхождения данных и мониторинг для создания надёжных продуктов данных.
  • Работайте с архитекторами, аналитиками и бизнес-командами над определением сопоставлений источников и целевых систем, бизнес-правил и критериев приёмки.
  • Готовьте высокопроизводительные наборы данных для Power BI, корпоративной отчётности, аналитики, науки о данных, ИИ и последующих приложений.
  • Повышайте надёжность и производительность конвейеров, SQL, рабочих нагрузок Spark, хранилищ и структуры таблиц, одновременно снижая затраты.
  • Используйте Git и Azure DevOps для управления бэклогом, пользовательскими историями, ветками, запросами на слияние, CI/CD, выпусками и отслеживаемостью.
  • Пишите модульные, интеграционные тесты и тесты сверки, участвуйте в рассмотрении архитектуры и кода.
  • Отслеживайте производственные конвейеры, обрабатывайте инциденты, выясняйте их первопричины и документируйте операционные процедуры.
  • Разрабатывайте повторно используемые компоненты и инженерные стандарты, наставляйте коллег и поддерживайте непрерывное совершенствование команды данных DCoE.

Требования

  • Не менее 5–6 лет практического опыта в инженерии данных, включая создание производственных конвейеров и продуктов данных.
  • Глубокие знания Databricks, Azure Data Lake, Delta Lake, Python/PySpark и SQL.
  • Глубокое понимание ETL/ELT, интеграции данных, архитектуры lakehouse и шаблонов проектирования bronze, silver и gold.
  • Опыт обеспечения качества данных, сверки, управления схемами, оркестрации, настройки производительности и поддержки производственных систем.
  • Понимание отчётности и аналитики, в том числе того, как Power BI или аналогичные BI-инструменты используют подготовленные данные.
  • Практический опыт работы по Agile, с Git, CI/CD, DevOps-практиками и Azure DevOps.
  • Степень бакалавра в области информатики, информационных систем, инженерии или смежной области либо эквивалентный практический опыт.
  • Сертификат Databricks или Microsoft Azure.
  • Опыт работы с данными цепочек поставок, производства, ERP-систем, операционной деятельности или промышленности.
  • Опыт работы с потоковой обработкой, Unity Catalog, фреймворками на основе метаданных, управлением данными или подготовкой данных для ИИ/МО.
  • Развитые аналитические способности и структурированный подход к решению задач.
  • Умение ясно общаться с технической и бизнес-аудиторией.
  • Умение работать в команде и брать на себя ответственность.
  • Умение находить баланс между качеством, скоростью, удобством сопровождения и операционными потребностями.
  • Умение наставлять инженеров и повышать стандарты с помощью рассмотрения архитектуры и кода, а также повторно используемых инженерных практик.

Преимущества

  • Медицинское страхование
  • Стоматологическое страхование
  • Программы страхования зрения
  • Льготы по плану 401(k)
  • Комиссионное вознаграждение или стимулирующие выплаты в зависимости от должности

Похожие вакансии

Acuity

Ведущий архитектор данных — Databricks и Azure

Acuity

Руководите созданием управляемой архитектуры lakehouse на Databricks и Azure, формируя масштабируемые решения для бизнеса Acuity в сфере промышленных технологий, освещения и интеллектуальных пространств.

Открыть