State Street — глобальна компанія, що надає фінансові послуги інституційним інвесторам через рішення у сфері управління інвестиціями та інвестиційного обслуговування. Її пропозиції охоплюють управління активами, кастодіальні послуги та інвестиційні дослідження, підкріплені експертизою у фінансах, фінтеху й банківській справі. Компанія допомагає клієнтам керувати складними інвестиційними операціями за допомогою даних, аналітичних висновків і операційних можливостей, покликаних підвищувати ефективність і підтримувати ухвалення фінансових рішень.
Інженер з даних, помічник віцепрезидента — Принстон, Нью-Джерсі
Створюйте lakehouse-платформи на AWS і Databricks для юридичних та комплаєнс-операцій State Street. Розробляйте керовані конвеєри даних для аналітики, звітності та застосунків ШІ/МО.
Опис
- Створювати та підтримувати масштабовані конвеєри даних із PySpark, Python і Spark SQL
- Розробляти й оптимізувати ETL/ELT-процеси Databricks із Delta Lake
- Реалізовувати архітектуру lakehouse Bronze, Silver і Gold для корпоративних платформ даних
- Керувати завданнями, робочими процесами та ноутбуками Databricks для пакетних і потокових навантажень
- Створювати повторно використовувані фреймворки для приймання, обробки та оркестрації даних
- Контейнеризувати навантаження даних за допомогою Docker і автоматизувати процеси скриптами
- Підключати конвеєри Databricks до Power Apps і Power Automate
- Надавати бізнес-користувачам дані через API, конектори та підготовлені набори даних
- Проєктувати й оптимізувати архітектури lakehouse Databricks
- Інтегрувати SQL Server, Oracle та інші корпоративні джерела даних
- Застосовувати методи розмірного моделювання, секціонування й оптимізації
- Обробляти структуровані та напівструктуровані формати, зокрема JSON і Parquet
- Підвищувати продуктивність за допомогою кешування, індексації та оптимізації Spark
- Публікувати підготовлені набори даних для Power BI, Power Apps і робочих процесів Power Automate
- Підтримувати якість даних за допомогою модульних тестів, фреймворків валідації та автоматизованих перевірок
- Моніторити й усувати несправності розподілених навантажень і конвеєрів Spark
- Досліджувати журнали та усувати виробничі проблеми в Databricks і хмарних середовищах
- Підтримувати походження даних, узгодженість і готовність до аудиту
- Співпрацювати з командами Legal, Security, Compliance і Enterprise Data
- Перетворювати бізнес-вимоги на рішення з інженерії даних
- Бути предметним експертом із Databricks та архітектури lakehouse
- Самостійно очолювати ініціативи й відповідати за результати
- Підтримувати управління даними за допомогою Databricks Unity Catalog, AWS IAM і засобів контролю KMS
- Дотримуватися вимог щодо конфіденційності даних, регулювання, безпеки та аудиту
- Підтримувати засоби контролю доступу й стандарти класифікації та обробки даних
- Працювати з командами IAM і безпеки для захисту доступу до даних
- Проєктувати та підтримувати CI/CD-конвеєри з Harness, Azure DevOps або GitHub
- Автоматизувати розгортання ресурсів Databricks за допомогою Databricks Repos і CLI
- Моніторити, планувати й оптимізувати робочі процеси інструментами оркестрації Databricks
- Підтримувати документацію з архітектури, потоків даних та експлуатаційних процедур
- Покращувати продуктивність, масштабованість і економічність платформи
Вимоги
- Ступінь бакалавра або магістра з комп’ютерних наук, інженерії даних, інформаційних систем або суміжної технічної галузі
- Щонайменше 8 років досвіду в інженерії даних або розробці платформ даних
- Практичний досвід роботи з Databricks і Apache Spark
- Володіння PySpark, Python і SQL
- Досвід роботи із сервісами даних AWS, зокрема S3, Glue, Lambda та IAM
- Досвід роботи з Delta Lake та архітектурою lakehouse
- Глибоке знання розподіленої обробки даних
- Глибоке знання ETL- і ELT-фреймворків
- Глибоке знання методів моделювання даних
- Практичний досвід роботи з компонентами Databricks, такими як Delta Lake, Workflows і Unity Catalog
- Значний досвід створення наскрізних пакетних і потокових конвеєрів з AWS і Databricks
- Знання методів оптимізації продуктивності Spark і Delta Lake
- Досвід підтримки аналітичних, звітних або ШІ/МО-навантажень на lakehouse-платформі
- Знання управління даними, метаданими та засобів безпеки
- Досвід у Legal, Compliance, фінансових послугах або інших регульованих галузях
- Розуміння юридичних понять, зокрема контрактів, положень, зобов’язань і справ
- Досвід обробки неструктурованих даних або створення конвеєрів для документів і NLP
- Досвід роботи з Power BI, Power Apps або Power Platform
- Досвід керування конфіденційними даними в середовищах із регулярним аудитом
Переваги
- Пенсійний план 401(k) із внесками компанії
- Страхові опції, зокрема базове страхування життя, медичне, стоматологічне страхування, страхування зору, довгострокової непрацездатності та інше додаткове покриття
- Оплачувана відпустка, що включає відпустку, лікарняний, короткострокову непрацездатність і відпустку для догляду за сім’єю
- Програма допомоги працівникам
- Стимулювальна компенсація з можливістю щорічних виплат за результатами роботи
- Можливість участі в окремих накопичувальних планах із податковими перевагами
- Інклюзивні можливості професійного розвитку
- Гнучка підтримка балансу між роботою та особистим життям
- Оплачувані дні для волонтерства
- Мережі працівників