State Street je globalno podjetje za finančne storitve, ki institucionalnim vlagateljem zagotavlja rešitve za upravljanje naložb in investicijske storitve. Njegova ponudba vključuje upravljanje premoženja, skrbniške storitve in investicijske raziskave, pri čemer jo podpirajo strokovna znanja s področij financ, finančne tehnologije in bančništva. Podjetje se osredotoča na pomoč strankam pri upravljanju zapletenih investicijskih dejavnosti s podatki, vpogledi in operativnimi zmogljivostmi, zasnovanimi za izboljšanje učinkovitosti in podporo finančnemu odločanju.
Podatkovni inženir, pomočnik podpredsednika – Princeton, New Jersey
Gradite lakehouse platforme v AWS in Databricksu, ki podpirajo pravne in compliance operacije družbe State Street. Razvijajte upravljane podatkovne cevovode za analitiko, poročanje in aplikacije AI/ML.
Opis
- Gradite in vzdržujte razširljive podatkovne cevovode s PySparkom, Pythonom in Spark SQL
- Razvijajte in optimizirajte ETL/ELT delovne tokove v Databricksu z Delta Lake
- Izvajajte arhitekturo lakehouse Bronze, Silver in Gold za poslovne podatkovne platforme
- Upravljajte Databricks Jobs, Workflows in Notebooks za paketne in pretočne obremenitve
- Ustvarjajte ponovno uporabne ogrodja za zajem, obdelavo in orkestracijo podatkov
- Kontejnerizirajte podatkovne obremenitve z Dockerjem in avtomatizirajte procese s skriptami
- Povezujte cevovode Databricks s Power Apps in Power Automate
- Poslovnim uporabnikom izpostavljajte podatke prek API-jev, konektorjev in kuriranih podatkovnih zbirk
- Načrtujte in optimizirajte arhitekture lakehouse v Databricksu
- Integrirajte SQL Server, Oracle in druge poslovne vire podatkov
- Uporabljajte dimenzionalno modeliranje, particioniranje in metode optimizacije
- Obdelujte strukturirane in polstrukturirane formate, vključno z JSON in Parquet
- Izboljšujte zmogljivost s predpomnjenjem, indeksiranjem in optimizacijo Sparka
- Objavljajte kurirane podatkovne zbirke za Power BI, Power Apps in delovne tokove Power Automate
- Vzdržujte kakovost podatkov z enotskimi testi, validacijskimi ogrodji in avtomatiziranimi preverjanji
- Spremljajte in odpravljajte težave pri porazdeljenih obremenitvah in cevovodih Spark
- Preiskujte dnevnike in odpravljajte produkcijske težave v Databricksu in oblačnih okoljih
- Vzdržujte poreklo podatkov, doslednost in pripravljenost na revizijo
- Sodelujte z ekipami Legal, Security, Compliance in Enterprise Data
- Pretvarjajte poslovne zahteve v rešitve podatkovnega inženirstva
- Delujte kot strokovnjak za Databricks in arhitekturo lakehouse
- Samostojno vodite pobude in prevzemajte odgovornost za rezultate
- Podpirajte upravljanje z Databricks Unity Catalog ter kontrolami AWS IAM in KMS
- Izpolnjujte zahteve glede zasebnosti podatkov, regulative, varnosti in revizije
- Vzdržujte nadzor dostopa ter standarde klasifikacije in ravnanja s podatki
- Sodelujte z ekipami IAM in varnostnimi ekipami pri zaščiti dostopa do podatkov
- Načrtujte in vzdržujte cevovode CI/CD s Harnessom, Azure DevOpsom ali GitHubom
- Avtomatizirajte uvajanje sredstev Databricks z Databricks Repos in CLI-jem
- Spremljajte, razporejajte in optimizirajte delovne tokove z orodji za orkestracijo Databricks
- Vzdržujte dokumentacijo arhitekture, toka podatkov in operativnih priročnikov
- Izboljšujte zmogljivost, razširljivost in stroškovno učinkovitost platforme
Zahteve
- Diploma dodiplomskega ali podiplomskega študija računalništva, podatkovnega inženirstva, informacijskih sistemov ali sorodnega tehničnega področja
- Vsaj 8 let izkušenj s podatkovnim inženirstvom ali razvojem podatkovnih platform
- Praktično strokovno znanje Databricksa in Apache Sparka
- Napredno znanje PySparka, Pythona in SQL-a
- Izkušnje s podatkovnimi storitvami AWS, vključno s S3, Glue, Lambdo in IAM
- Izkušnje z Delta Lake in arhitekturo lakehouse
- Dobro poznavanje porazdeljene obdelave podatkov
- Dobro poznavanje ogrodij ETL in ELT
- Dobro poznavanje tehnik modeliranja podatkov
- Praktične izkušnje s komponentami Databricks, kot so Delta Lake, Workflows in Unity Catalog
- Obsežne izkušnje z izdelavo celovitih paketnih in pretočnih cevovodov z AWS in Databricksom
- Poznavanje optimizacije zmogljivosti Sparka in Delta Lake
- Izkušnje s podporo analitičnim, poročevalskim ali AI/ML obremenitvam na platformi lakehouse
- Poznavanje upravljanja podatkov, upravljanja metapodatkov in varnostnih kontrol
- Izkušnje na področju prava, compliance, finančnih storitev ali drugih reguliranih panog
- Razumevanje konceptov pravnih podatkov, vključno s pogodbami, klavzulami, obveznostmi in zadevami
- Izkušnje z obdelavo nestrukturiranih podatkov ali dokumentnimi in NLP cevovodi
- Izkušnje s Power BI, Power Apps ali Power Platform
- Izkušnje z upravljanjem občutljivih podatkov v okoljih, usmerjenih v revizijo
Ugodnosti
- Pokojninski varčevalni načrt 401(k) z usklajevanjem prispevkov podjetja
- Možnosti zavarovanja, vključno z osnovnim življenjskim, zdravstvenim, zobozdravstvenim, vidnim, dolgotrajno invalidnostjo in drugim neobveznim kritjem
- Plačan dopust, ki vključuje letni dopust, bolniški dopust, kratkotrajno invalidnost in družinske obveznosti
- Program pomoči zaposlenim
- Spodbujevalno plačilo z možnostjo letnih nagrad na podlagi uspešnosti
- Upravičenost do izbranih davčno ugodnih varčevalnih načrtov
- Vključujoče priložnosti za poklicni razvoj
- Prilagodljiva podpora ravnotežju med delom in zasebnim življenjem
- Plačani dnevi za prostovoljstvo
- Mreže zaposlenih