
Marsh McLennan — глобальна компанія професійних послуг, що працює у сфері управління ризиками, стратегії та консультування з питань, пов’язаних із персоналом. До її складу входять Marsh, яка надає послуги страхового брокериджу та управління ризиками; Guy Carpenter, що спеціалізується на перестрахуванні та стратегіях залучення капіталу; Mercer, яка консультує клієнтів у питаннях здоров’я, добробуту та кар’єри; і Oliver Wyman, що працює у сфері стратегії, економіки та брендингу. У компанії по всьому світу працює понад 85 000 співробітників, які об’єднують експертизу у фінансах, консалтингу, маркетингу та суміжних професійних послугах. Вакансії Marsh McLennan охоплюють посади у сфері консультування клієнтів, аналізу ризиків, бізнес-стратегії, консалтингу та операційної підтримки в усіх чотирьох напрямах бізнесу.
Менеджер з інженерії даних — Пуна (гібридний формат)
Керуйте ініціативами з інженерії даних для глобального бізнесу Marsh McLennan у сфері ризиків і консалтингу. Створюйте масштабовані рішення на базі Databricks, PySpark, SQL, Delta Lake і Lakehouse для керованої аналітики.
Опис
- Проєктувати та створювати масштабовані конвеєри на платформі Databricks Lakehouse
- Створювати й підтримувати продукти даних на основі медальйонної архітектури
- Розробляти конвеєри для приймання, перетворення та використання даних
- Створювати готові для бізнесу набори даних золотого шару для звітності й аналітики
- Керувати таблицями Delta Lake і пов’язаними активами даних
- Реалізовувати інкрементальну обробку за допомогою шаблонів Merge, Upsert і CDC
- Підвищувати продуктивність таблиць Delta за допомогою секціонування, компактації та оптимізації
- Оцінювати застарілі потоки даних і SQL, а потім перетворювати їх на ефективні конвеєри PySpark
- Документувати правила перетворення та стратегії міграції
- Розробляти масштабовані застосунки PySpark у Databricks
- Створювати повторно використовувані інженерні фреймворки та компоненти
- Налаштовувати робочі навантаження Spark і аналізувати плани виконання
- Запроваджувати перевірки якості даних, процедури звірки та фреймворки валідації
- Писати складні запити SQL, збережені процедури та ефективну логіку перетворень
- Використовувати SQL для аналізу даних, профілювання та вирішення проблем
- Підвищувати продуктивність запитів і вдосконалювати моделі даних для великомасштабних наборів даних
- Підтримувати походження даних, метадані, управління даними, CI/CD та автоматизацію розгортання
- Співпрацювати з архітекторами даних, бізнес-стейкхолдерами, аналітиками й командами платформи
Вимоги
- Підтверджений практичний досвід інженерії даних із Databricks і Spark
- Досвід застосування медальйонної архітектури на рівнях Bronze, Silver і Gold
- Досвід проєктування та експлуатації рішень на базі Delta Lake
- Глибоке розуміння концепцій архітектури Lakehouse
- Досвід створення масштабованих конвеєрів для корпоративних аналітичних платформ
- Знання практик якості даних, походження даних, управління даними та спостережуваності
- Досвід роботи з Informatica буде перевагою
- Досвід хмарної інженерії, бажано з AWS
- Практичні знання Databricks, PySpark, SQL, Delta Lake, медальйонної архітектури, моделювання даних і розподіленої обробки у великому масштабі
Переваги
- Можливості професійного зростання та розвитку
- Цікава робота за підтримки керівництва
- Інклюзивна й енергійна культура робочого середовища
- Гнучке робоче середовище
- Кілька напрямів кар’єрного розвитку
- Пільги та винагороди, орієнтовані на добробут працівників
- Можливість працювати віддалено
- Співпраця в офісі, розвиток відносин і можливості професійного розвитку