State Street globalna je tvrtka za financijske usluge koja institucionalnim ulagačima pruža rješenja za upravljanje ulaganjima i investicijske usluge. Njezina ponuda uključuje upravljanje imovinom, skrbničke usluge i investicijska istraživanja, uz stručnost iz područja financija, fintecha i bankarstva. Tvrtka se usredotočuje na pomoć klijentima u upravljanju složenim investicijskim aktivnostima putem podataka, uvida i operativnih kapaciteta osmišljenih za poboljšanje učinkovitosti i podršku financijskom odlučivanju.
Podatkovni inženjer, pomoćnik potpredsjednika – Princeton, New Jersey
Izgradite lakehouse platforme na AWS-u i Databricksu koje podržavaju pravne i compliance operacije tvrtke State Street. Razvijajte upravljane podatkovne cjevovode za analitiku, izvještavanje i AI/ML aplikacije.
Opis
- Izgradite i održavajte skalabilne podatkovne cjevovode pomoću PySparka, Pythona i Spark SQL-a
- Razvijajte i optimizirajte ETL/ELT tijekove rada u Databricksu uz Delta Lake
- Implementirajte Bronze, Silver i Gold lakehouse arhitekturu za poslovne podatkovne platforme
- Upravljajte Databricks Jobs, Workflows i Notebooks za paketna i streaming opterećenja
- Izradite ponovno upotrebljive okvire za unos, obradu i orkestraciju podataka
- Kontejnerizirajte podatkovna opterećenja Dockerom i automatizirajte procese skriptiranjem
- Povežite Databricks cjevovode s Power Apps i Power Automateom
- Omogućite poslovnim korisnicima pristup podacima putem API-ja, konektora i kuriranih skupova podataka
- Dizajnirajte i optimizirajte Databricks lakehouse arhitekture
- Integrirajte SQL Server, Oracle i druge poslovne izvore podataka
- Primjenjujte dimenzionalno modeliranje, particioniranje i metode optimizacije
- Obrađujte strukturirane i polustrukturirane formate, uključujući JSON i Parquet
- Poboljšajte performanse predmemoriranjem, indeksiranjem i optimizacijom Sparka
- Objavljujte kurirane skupove podataka za Power BI, Power Apps i Power Automate tijekove rada
- Održavajte kvalitetu podataka jediničnim testovima, validacijskim okvirima i automatiziranim provjerama
- Nadzirite i otklanjajte probleme distribuiranih Spark opterećenja i cjevovoda
- Istražujte zapisnike i rješavajte produkcijske probleme u Databricksu i računalnim oblacima
- Održavajte podatkovno porijeklo, dosljednost i spremnost za reviziju
- Surađujte s timovima Legal, Security, Compliance i Enterprise Data
- Pretvarajte poslovne zahtjeve u rješenja podatkovnog inženjerstva
- Budite stručnjak za Databricks i lakehouse arhitekturu
- Samostalno vodite inicijative i preuzimajte odgovornost za rezultate
- Podržavajte upravljanje podacima uz Databricks Unity Catalog te AWS IAM i KMS kontrole
- Ispunjavajte zahtjeve privatnosti podataka, regulative, sigurnosti i revizije
- Održavajte kontrole pristupa te standarde klasifikacije i rukovanja podacima
- Surađujte s IAM i sigurnosnim timovima na zaštiti pristupa podacima
- Dizajnirajte i održavajte CI/CD cjevovode uz Harness, Azure DevOps ili GitHub
- Automatizirajte implementacije Databricks resursa pomoću Databricks Reposa i CLI-ja
- Nadzirite, raspoređujte i optimizirajte tijekove rada alatima za orkestraciju Databricksa
- Održavajte dokumentaciju arhitekture, toka podataka i operativnih priručnika
- Poboljšavajte performanse, skalabilnost i troškovnu učinkovitost platforme
Zahtjevi
- Preddiplomski ili diplomski studij računalnih znanosti, podatkovnog inženjerstva, informacijskih sustava ili srodnog tehničkog područja
- Najmanje 8 godina iskustva u podatkovnom inženjerstvu ili razvoju podatkovnih platformi
- Praktično iskustvo s Databricksom i Apache Sparkom
- Napredno znanje PySparka, Pythona i SQL-a
- Iskustvo s podatkovnim uslugama AWS-a, uključujući S3, Glue, Lambda i IAM
- Iskustvo s Delta Lakeom i lakehouse arhitekturom
- Dobro poznavanje distribuirane obrade podataka
- Dobro poznavanje ETL i ELT okvira
- Dobro poznavanje tehnika modeliranja podataka
- Praktično iskustvo s komponentama Databricksa, kao što su Delta Lake, Workflows i Unity Catalog
- Opsežno iskustvo u izgradnji cjelovitih paketnih i streaming cjevovoda uz AWS i Databricks
- Poznavanje optimizacije performansi Sparka i Delta Lakea
- Iskustvo u podršci analitičkim, izvještajnim ili AI/ML opterećenjima na lakehouse platformi
- Poznavanje upravljanja podacima, upravljanja metapodacima i sigurnosnih kontrola
- Iskustvo u pravnoj, compliance, financijskoj ili drugoj reguliranoj industriji
- Razumijevanje koncepata pravnih podataka, uključujući ugovore, klauzule, obveze i predmete
- Iskustvo s obradom nestrukturiranih podataka ili dokumentnim i NLP cjevovodima
- Iskustvo s Power BI-jem, Power Appsom ili Power Platformom
- Iskustvo upravljanja osjetljivim podacima u okruženjima usmjerenima na reviziju
Pogodnosti
- Mirovinski plan 401(k) s uparivanjem doprinosa poslodavca
- Mogućnosti osiguranja, uključujući osnovno životno, zdravstveno, stomatološko, vid, dugotrajnu invalidnost i druga neobvezna pokrića
- Plaćeni dopust koji obuhvaća godišnji odmor, bolovanje, kratkotrajnu invalidnost i obveze skrbi za obitelj
- Program pomoći zaposlenicima
- Poticajna naknada s mogućnošću godišnjih nagrada na temelju učinka
- Mogućnost sudjelovanja u odabranim porezno povlaštenim štednim planovima
- Uključive prilike za profesionalni razvoj
- Fleksibilna podrška ravnoteži poslovnog i privatnog života
- Plaćeni dani za volontiranje
- Mreže zaposlenika