Marsh McLennan
Marsh McLennan
Marsh McLennan — глобальна компанія професійних послуг, що працює у сфері управління ризиками, стратегії та консультування з питань, пов’язаних із персоналом. До її складу входять Marsh, яка надає послуги страхового брокериджу та управління ризиками; Guy Carpenter, що спеціалізується на перестрахуванні та стратегіях залучення капіталу; Mercer, яка консультує клієнтів у питаннях здоров’я, добробуту та кар’єри; і Oliver Wyman, що працює у сфері стратегії, економіки та брендингу. У компанії по всьому світу працює понад 85 000 співробітників, які об’єднують експертизу у фінансах, консалтингу, маркетингу та суміжних професійних послугах. Вакансії Marsh McLennan охоплюють посади у сфері консультування клієнтів, аналізу ризиків, бізнес-стратегії, консалтингу та операційної підтримки в усіх чотирьох напрямах бізнесу.

Менеджер з інженерії даних — Пуна (гібридний формат)

Керуйте ініціативами з інженерії даних для глобального бізнесу Marsh McLennan у сфері ризиків і консалтингу. Створюйте масштабовані рішення на базі Databricks, PySpark, SQL, Delta Lake і Lakehouse для керованої аналітики.

Опис

  • Проєктувати та створювати масштабовані конвеєри на платформі Databricks Lakehouse
  • Створювати й підтримувати продукти даних на основі медальйонної архітектури
  • Розробляти конвеєри для приймання, перетворення та використання даних
  • Створювати готові для бізнесу набори даних золотого шару для звітності й аналітики
  • Керувати таблицями Delta Lake і пов’язаними активами даних
  • Реалізовувати інкрементальну обробку за допомогою шаблонів Merge, Upsert і CDC
  • Підвищувати продуктивність таблиць Delta за допомогою секціонування, компактації та оптимізації
  • Оцінювати застарілі потоки даних і SQL, а потім перетворювати їх на ефективні конвеєри PySpark
  • Документувати правила перетворення та стратегії міграції
  • Розробляти масштабовані застосунки PySpark у Databricks
  • Створювати повторно використовувані інженерні фреймворки та компоненти
  • Налаштовувати робочі навантаження Spark і аналізувати плани виконання
  • Запроваджувати перевірки якості даних, процедури звірки та фреймворки валідації
  • Писати складні запити SQL, збережені процедури та ефективну логіку перетворень
  • Використовувати SQL для аналізу даних, профілювання та вирішення проблем
  • Підвищувати продуктивність запитів і вдосконалювати моделі даних для великомасштабних наборів даних
  • Підтримувати походження даних, метадані, управління даними, CI/CD та автоматизацію розгортання
  • Співпрацювати з архітекторами даних, бізнес-стейкхолдерами, аналітиками й командами платформи

Вимоги

  • Підтверджений практичний досвід інженерії даних із Databricks і Spark
  • Досвід застосування медальйонної архітектури на рівнях Bronze, Silver і Gold
  • Досвід проєктування та експлуатації рішень на базі Delta Lake
  • Глибоке розуміння концепцій архітектури Lakehouse
  • Досвід створення масштабованих конвеєрів для корпоративних аналітичних платформ
  • Знання практик якості даних, походження даних, управління даними та спостережуваності
  • Досвід роботи з Informatica буде перевагою
  • Досвід хмарної інженерії, бажано з AWS
  • Практичні знання Databricks, PySpark, SQL, Delta Lake, медальйонної архітектури, моделювання даних і розподіленої обробки у великому масштабі

Переваги

  • Можливості професійного зростання та розвитку
  • Цікава робота за підтримки керівництва
  • Інклюзивна й енергійна культура робочого середовища
  • Гнучке робоче середовище
  • Кілька напрямів кар’єрного розвитку
  • Пільги та винагороди, орієнтовані на добробут працівників
  • Можливість працювати віддалено
  • Співпраця в офісі, розвиток відносин і можливості професійного розвитку