State Street to globalna firma świadcząca usługi finansowe inwestorom instytucjonalnym za pośrednictwem rozwiązań z zakresu zarządzania inwestycjami i obsługi inwestycyjnej. Jej oferta obejmuje zarządzanie aktywami, usługi powiernicze oraz analizy inwestycyjne, wspierane wiedzą specjalistyczną z dziedzin finansów, fintechu i bankowości. Firma pomaga klientom zarządzać złożonymi działaniami inwestycyjnymi dzięki danym, analizom i możliwościom operacyjnym zaprojektowanym w celu poprawy efektywności i wspierania podejmowania decyzji finansowych.
Inżynier danych, zastępca wiceprezesa — Princeton, New Jersey
Twórz platformy lakehouse na AWS i Databricks wspierające operacje prawne i compliance firmy State Street. Opracowuj zarządzane potoki danych dla analityki, raportowania oraz aplikacji AI/ML.
Stany Zjednoczone
Massachusetts
New Jersey100 000 $ – 167 500 $ / rok
StacjonarniePełny etatLeadWymagany Język: angielskiInżynier danychOpis
- Tworzyć i utrzymywać skalowalne potoki danych z użyciem PySpark, Python i Spark SQL
- Opracowywać i optymalizować procesy ETL/ELT Databricks z Delta Lake
- Wdrażać architekturę lakehouse Bronze, Silver i Gold dla korporacyjnych platform danych
- Zarządzać zadaniami, przepływami pracy i notebookami Databricks dla obciążeń wsadowych i strumieniowych
- Tworzyć wielokrotnego użytku frameworki do pozyskiwania, przetwarzania i orkiestracji danych
- Konteneryzować obciążenia danych za pomocą Dockera i automatyzować procesy skryptami
- Łączyć potoki Databricks z Power Apps i Power Automate
- Udostępniać dane użytkownikom biznesowym za pośrednictwem API, konektorów i wyselekcjonowanych zbiorów danych
- Projektować i optymalizować architektury lakehouse Databricks
- Integrować SQL Server, Oracle i inne korporacyjne źródła danych
- Stosować metody modelowania wymiarowego, partycjonowania i optymalizacji
- Przetwarzać formaty ustrukturyzowane i częściowo ustrukturyzowane, w tym JSON i Parquet
- Zwiększać wydajność dzięki buforowaniu, indeksowaniu i optymalizacji Spark
- Publikować wyselekcjonowane zbiory danych dla Power BI, Power Apps i przepływów Power Automate
- Utrzymywać jakość danych za pomocą testów jednostkowych, frameworków walidacji i automatycznych kontroli
- Monitorować i rozwiązywać problemy rozproszonych obciążeń i potoków Spark
- Analizować logi i usuwać problemy produkcyjne w środowiskach Databricks i chmurowych
- Utrzymywać pochodzenie danych, spójność i gotowość audytową
- Współpracować z zespołami Legal, Security, Compliance i Enterprise Data
- Przekładać wymagania biznesowe na rozwiązania z zakresu inżynierii danych
- Pełnić funkcję eksperta merytorycznego w zakresie Databricks i architektury lakehouse
- Samodzielnie prowadzić inicjatywy i brać odpowiedzialność za rezultaty
- Wspierać zarządzanie danymi za pomocą Databricks Unity Catalog oraz mechanizmów AWS IAM i KMS
- Spełniać wymagania dotyczące prywatności danych, regulacji, bezpieczeństwa i audytu
- Utrzymywać mechanizmy kontroli dostępu oraz standardy klasyfikacji i przetwarzania danych
- Współpracować z zespołami IAM i bezpieczeństwa w celu ochrony dostępu do danych
- Projektować i utrzymywać potoki CI/CD z użyciem Harness, Azure DevOps lub GitHub
- Automatyzować wdrażanie zasobów Databricks za pomocą Databricks Repos i CLI
- Monitorować, planować i optymalizować przepływy pracy za pomocą narzędzi orkiestracji Databricks
- Utrzymywać dokumentację architektury, przepływów danych i procedur operacyjnych
- Zwiększać wydajność, skalowalność i efektywność kosztową platformy
Wymagania
- Wykształcenie wyższe licencjackie lub magisterskie z informatyki, inżynierii danych, systemów informacyjnych lub pokrewnej dziedziny technicznej
- Co najmniej 8 lat doświadczenia w inżynierii danych lub tworzeniu platform danych
- Praktyczna znajomość Databricks i Apache Spark
- Biegłość w PySpark, Pythonie i SQL
- Doświadczenie z usługami danych AWS, w tym S3, Glue, Lambda i IAM
- Doświadczenie z Delta Lake i architekturą lakehouse
- Dobra znajomość rozproszonego przetwarzania danych
- Dobra znajomość frameworków ETL i ELT
- Dobra znajomość technik modelowania danych
- Praktyczne doświadczenie z komponentami Databricks, takimi jak Delta Lake, Workflows i Unity Catalog
- Rozległe doświadczenie w tworzeniu kompleksowych potoków wsadowych i strumieniowych z AWS i Databricks
- Znajomość optymalizacji wydajności Spark i Delta Lake
- Doświadczenie we wspieraniu obciążeń analitycznych, raportowych lub AI/ML na platformie lakehouse
- Znajomość zarządzania danymi, metadanymi i mechanizmów bezpieczeństwa
- Doświadczenie w obszarze prawnym, compliance, usług finansowych lub innych regulowanych branżach
- Rozumienie pojęć prawnych, w tym umów, klauzul, zobowiązań i spraw
- Doświadczenie w przetwarzaniu danych nieustrukturyzowanych lub potokach dokumentowych i NLP
- Doświadczenie z Power BI, Power Apps lub Power Platform
- Doświadczenie w zarządzaniu danymi wrażliwymi w środowiskach podlegających audytom
Benefity
- Plan oszczędności emerytalnych 401(k) z dopłatami pracodawcy
- Opcje ubezpieczeniowe obejmujące podstawowe ubezpieczenie na życie, ubezpieczenie medyczne, stomatologiczne, wzroku, długoterminowej niezdolności do pracy oraz inne dobrowolne ubezpieczenia
- Płatny czas wolny obejmujący urlop wypoczynkowy, zwolnienie chorobowe, krótkoterminową niezdolność do pracy i opiekę nad rodziną
- Program pomocy pracownikom
- Wynagrodzenie motywacyjne z możliwością corocznych nagród zależnych od wyników
- Możliwość uczestnictwa w wybranych uprzywilejowanych podatkowo planach oszczędnościowych
- Włączające możliwości rozwoju zawodowego
- Elastyczne wsparcie równowagi między pracą a życiem prywatnym
- Płatne dni na działalność wolontariacką
- Sieci pracownicze