State Street — глобальная компания, предоставляющая финансовые услуги институциональным инвесторам через решения в области управления инвестициями и инвестиционного обслуживания. В число её предложений входят управление активами, кастодиальные услуги и инвестиционные исследования, основанные на экспертизе в сфере финансов, финтеха и банковского дела. Компания помогает клиентам управлять сложными инвестиционными операциями с помощью данных, аналитических выводов и операционных возможностей, направленных на повышение эффективности и поддержку принятия финансовых решений.
Инженер по данным, помощник вице-президента — Принстон, Нью-Джерси
Создавайте платформы lakehouse на AWS и Databricks для юридических и комплаенс-операций State Street. Разрабатывайте управляемые конвейеры данных для аналитики, отчетности и приложений ИИ/МО.
Описание
- Создавать и поддерживать масштабируемые конвейеры данных с PySpark, Python и Spark SQL
- Разрабатывать и оптимизировать ETL/ELT-процессы Databricks с Delta Lake
- Реализовывать архитектуру lakehouse Bronze, Silver и Gold для корпоративных платформ данных
- Управлять заданиями, рабочими процессами и ноутбуками Databricks для пакетных и потоковых нагрузок
- Создавать повторно используемые фреймворки для приема, обработки и оркестрации данных
- Контейнеризировать рабочие нагрузки данных с Docker и автоматизировать процессы с помощью скриптов
- Подключать конвейеры Databricks к Power Apps и Power Automate
- Предоставлять бизнес-пользователям доступ к данным через API, коннекторы и подготовленные наборы данных
- Проектировать и оптимизировать архитектуры lakehouse Databricks
- Интегрировать SQL Server, Oracle и другие корпоративные источники данных
- Применять методы размерного моделирования, секционирования и оптимизации
- Обрабатывать структурированные и полуструктурированные форматы, включая JSON и Parquet
- Повышать производительность с помощью кэширования, индексации и оптимизации Spark
- Публиковать подготовленные наборы данных для Power BI, Power Apps и рабочих процессов Power Automate
- Поддерживать качество данных с помощью модульных тестов, фреймворков валидации и автоматизированных проверок
- Осуществлять мониторинг и устранение неполадок распределенных рабочих нагрузок и конвейеров Spark
- Исследовать журналы и устранять производственные проблемы в Databricks и облачных средах
- Поддерживать происхождение данных, согласованность и готовность к аудиту
- Сотрудничать с командами Legal, Security, Compliance и Enterprise Data
- Преобразовывать бизнес-требования в решения для инженерии данных
- Выступать экспертом по Databricks и архитектуре lakehouse
- Самостоятельно руководить инициативами и отвечать за результаты
- Поддерживать управление данными с помощью Databricks Unity Catalog, AWS IAM и средств контроля KMS
- Соблюдать требования к конфиденциальности данных, регулированию, безопасности и аудиту
- Поддерживать средства контроля доступа, а также стандарты классификации и обработки данных
- Работать с командами IAM и безопасности для защиты доступа к данным
- Проектировать и поддерживать CI/CD-конвейеры с Harness, Azure DevOps или GitHub
- Автоматизировать развертывание ресурсов Databricks с помощью Databricks Repos и CLI
- Осуществлять мониторинг, планирование и оптимизацию рабочих процессов с помощью инструментов оркестрации Databricks
- Поддерживать документацию по архитектуре, потокам данных и эксплуатационным процедурам
- Повышать производительность, масштабируемость и экономичность платформы
Требования
- Степень бакалавра или магистра в области компьютерных наук, инженерии данных, информационных систем или смежной технической области
- Не менее 8 лет опыта в инженерии данных или разработке платформ данных
- Практический опыт работы с Databricks и Apache Spark
- Владение PySpark, Python и SQL
- Опыт работы с сервисами данных AWS, включая S3, Glue, Lambda и IAM
- Опыт работы с Delta Lake и архитектурой lakehouse
- Глубокое знание распределенной обработки данных
- Глубокое знание ETL- и ELT-фреймворков
- Глубокое знание методов моделирования данных
- Практический опыт работы с компонентами Databricks, такими как Delta Lake, Workflows и Unity Catalog
- Обширный опыт создания сквозных пакетных и потоковых конвейеров с AWS и Databricks
- Знание методов оптимизации производительности Spark и Delta Lake
- Опыт поддержки аналитических, отчетных или ИИ/МО-нагрузок на платформе lakehouse
- Знание управления данными, управления метаданными и средств безопасности
- Опыт работы в юридической сфере, комплаенсе, финансовых услугах или других регулируемых отраслях
- Понимание юридических понятий, включая контракты, положения, обязательства и дела
- Опыт обработки неструктурированных данных либо создания конвейеров для документов и NLP
- Опыт работы с Power BI, Power Apps или Power Platform
- Опыт управления конфиденциальными данными в средах с регулярным аудитом
Преимущества
- Пенсионный план 401(k) с корпоративными взносами
- Страховые опции, включая базовое страхование жизни, медицинское, стоматологическое страхование, страхование зрения, долгосрочной нетрудоспособности и другое дополнительное покрытие
- Оплачиваемый отпуск, включая отпуск, больничный, краткосрочную нетрудоспособность и отпуск для ухода за семьей
- Программа помощи сотрудникам
- Стимулирующая компенсация с возможностью ежегодных выплат по результатам работы
- Возможность участия в отдельных льготных с налоговой точки зрения накопительных планах
- Инклюзивные возможности профессионального развития
- Гибкая поддержка баланса работы и личной жизни
- Оплачиваемые дни для волонтерской деятельности
- Сети сотрудников