A State Street globális pénzügyi szolgáltató vállalat, amely befektetéskezelési és befektetési szolgáltatási megoldásokkal támogatja az intézményi befektetőket. Kínálatába tartozik a vagyonkezelés, a letétkezelés és a befektetési kutatás, amelyeket a pénzügy, a pénzügyi technológia és a banki szolgáltatások terén szerzett szakértelem erősít. A vállalat adatokkal, elemzésekkel és működési képességekkel segíti ügyfeleit az összetett befektetési tevékenységek kezelésében, a hatékonyság javításában és a pénzügyi döntéshozatal támogatásában.
Adatmérnök, alelnökhelyettes - Princeton, NJ
AWS- és Databricks-lakehouse-platformokat épít a State Street jogi és megfelelőségi műveleteinek támogatására. Irányított adatfolyamatokat fejleszt elemzési, jelentéskészítési és mesterségesintelligencia-/gépi tanulási alkalmazásokhoz.
Egyesült Államok
Massachusetts
New Jersey100 000 $ – 167 500 $ / év
HelyszíniTeljes munkaidőVezetőKötelező Nyelv: angolAdatmérnökLeírás
- Skálázható adatfolyamatokat épít és tart karban PySpark, Python és Spark SQL használatával
- Databricks ETL/ELT-munkafolyamatokat fejleszt és optimalizál Delta Lake-kel
- Bronze, Silver és Gold lakehouse-architektúrát valósít meg vállalati adatplatformokhoz
- Databricks Jobs, Workflows és Notebooks komponenseket kezel kötegelt és streamelési terhelésekhez
- Újrahasznosítható keretrendszereket hoz létre adatbetöltéshez, -feldolgozáshoz és -hangoláshoz
- Az adatfeldolgozási terheléseket Dockerrel konténerizálja, a folyamatokat pedig szkriptekkel automatizálja
- Összekapcsolja a Databricks adatfolyamatait a Power Apps és a Power Automate szolgáltatásokkal
- API-kon, csatlakozókon és gondozott adatkészleteken keresztül teszi elérhetővé az adatokat az üzleti felhasználók számára
- Databricks lakehouse-architektúrákat tervez és optimalizál
- SQL Servert, Oracle-t és más vállalati adatforrásokat integrál
- Dimenzionális modellezési, particionálási és optimalizálási módszereket alkalmaz
- Strukturált és félig strukturált formátumokat dolgoz fel, többek között JSON-t és Parquetet
- Gyorsítótárazással, indexeléssel és Spark-optimalizálással javítja a teljesítményt
- Gondozott adatkészleteket tesz közzé Power BI-, Power Apps- és Power Automate-munkafolyamatokhoz
- Egységtesztekkel, validációs keretrendszerekkel és automatizált ellenőrzésekkel biztosítja az adatminőséget
- Figyeli és hibaelhárítja az elosztott Spark-terheléseket és adatfolyamatokat
- Naplókat vizsgál, és elhárítja a Databricks- és felhőkörnyezetekben felmerülő éles üzemű problémákat
- Karbantartja az adatok származását és konzisztenciáját, valamint biztosítja az auditálhatóságot
- Együttműködik a jogi, biztonsági, megfelelőségi és vállalati adatokkal foglalkozó csapatokkal
- Az üzleti követelményeket adat-mérnöki megoldásokká alakítja
- Tárgyi szakértőként támogatja a Databricks és a lakehouse-architektúra használatát
- Önállóan vezet kezdeményezéseket, és felelősséget vállal a szállítandó eredményekért
- A Databricks Unity Catalog, valamint az AWS IAM- és KMS-vezérlői révén támogatja az adatirányítást
- Teljesíti az adatvédelmi, szabályozási, biztonsági és auditkövetelményeket
- Karbantartja a hozzáférés-vezérléseket, valamint az adatosztályozási és adatkezelési szabványokat
- Az IAM- és biztonsági csapatokkal együttműködve védi az adatokhoz való hozzáférést
- Harness, Azure DevOps vagy GitHub használatával CI/CD-folyamatokat tervez és tart karban
- Databricks Repos és CLI segítségével automatizálja a Databricks-eszközök telepítését
- Databricks-orkesztrációs eszközökkel figyeli, ütemezi és optimalizálja a munkafolyamatokat
- Karbantartja az architektúra-, adatfolyam- és üzemeltetési kézikönyveket
- Javítja a platform teljesítményét, skálázhatóságát és költséghatékonyságát
Követelmények
- Számítástechnikai, adat-mérnöki, információs rendszerek vagy kapcsolódó műszaki területen szerzett alap- vagy mesterfokú végzettség
- Legalább 8 év tapasztalat adat-mérnöki vagy adatplatform-fejlesztési területen
- Gyakorlati szakértelem Databricks és Apache Spark használatában
- Jártasság PySpark, Python és SQL használatában
- Tapasztalat AWS-adatszolgáltatásokkal, többek között az S3, Glue, Lambda és IAM használatával
- Tapasztalat Delta Lake-kel és lakehouse-architektúrával
- Az elosztott adatfeldolgozás alapos ismerete
- Az ETL- és ELT-keretrendszerek alapos ismerete
- Az adatmodellezési technikák alapos ismerete
- Gyakorlati tapasztalat Databricks-komponensekkel, például a Delta Lake, Workflows és Unity Catalog használatával
- Kiterjedt tapasztalat végponttól végpontig terjedő kötegelt és streamelési adatfolyamatok építésében AWS és Databricks használatával
- A Spark és a Delta Lake teljesítményoptimalizálásának ismerete
- Tapasztalat elemzési, jelentéskészítési vagy mesterségesintelligencia-/gépi tanulási terhelések támogatásában lakehouse-platformon
- Az adatirányítás, metaadat-kezelés és biztonsági vezérlők ismerete
- Tapasztalat jogi, megfelelőségi, pénzügyi szolgáltatási vagy más szabályozott iparágban
- A jogi adatok fogalmainak ismerete, beleértve a szerződéseket, záradékokat, kötelezettségeket és ügyeket
- Tapasztalat strukturálatlan adatok feldolgozásában, illetve dokumentum- és NLP-folyamatokban
- Tapasztalat Power BI, Power Apps vagy Power Platform használatában
- Tapasztalat érzékeny adatok kezelésében auditközpontú környezetben
Juttatások
- Vállalati hozzájárulást biztosító 401(k) nyugdíj-megtakarítási terv
- Biztosítási lehetőségek, többek között alapvető élet-, egészség-, fogászati, látási, hosszú távú rokkantsági és egyéb választható fedezetek
- Fizetett szabadság, amely magában foglalja a pihenőidőt, a betegszabadságot, a rövid távú rokkantságot és a családi gondozási kötelezettségeket
- Munkavállalói Segítségnyújtási Program
- Ösztönző juttatás, amely éves, teljesítményalapú díjakra jogosíthat
- Egyes adóelőnyös megtakarítási programokra való jogosultság
- Befogadó szakmai fejlődési lehetőségek
- Rugalmas munka és magánélet támogatása
- Fizetett önkéntes napok
- Munkavállalói hálózatok