State Street on ülemaailmne finantsteenuste ettevõte, mis teenindab institutsionaalseid investoreid varahalduse ja investeerimisteenuste lahendustega. Ettevõtte pakkumisse kuuluvad varahaldus, varahaldusteenused ja investeerimisuuringud, mida toetavad teadmised rahanduse, finantstehnoloogia ja panganduse valdkonnas. Ettevõte aitab klientidel hallata keerukaid investeerimistegevusi andmete, analüüside ja operatiivsete võimekuste abil, et parandada tõhusust ja toetada finantsotsuste tegemist.
Andmeinsener, asepresidendi abi – Princeton, NJ
Loo AWS-i ja Databricksi lakehouse-platvorme State Streeti õigus- ja vastavusvaldkonna toetamiseks. Arenda hallatud andmekanaleid analüütika, aruandluse ning tehisintellekti- ja masinõpperakenduste jaoks.
Ameerika Ühendriigid
Massachusetts
New Jersey100 000 $ – 167 500 $ / aasta
KohapealTäistööaegJuhtivspetsialistNõutav Keel: ingliseAndmeinsenerKirjeldus
- Loo ja halda PySparki, Pythoni ja Spark SQL-i abil skaleeruvaid andmekanaleid
- Arenda ja optimeeri Delta Lake'i abil Databricksi ETL/ELT-töövooge
- Rakenda ettevõtte andmeplatvormidel Bronze'i, Silveri ja Goldi lakehouse-arhitektuur
- Halda Databricksi Jobsi, Workflowsi ja Notebooksit pakett- ning voogtöötluskoormuste jaoks
- Loo korduvkasutatavaid raamistikke andmete neelamiseks, töötlemiseks ja orkestreerimiseks
- Konteineriseeri andmekoormused Dockeriga ja automatiseeri protsesse skriptimise abil
- Ühenda Databricksi andmekanalid Power Appsi ja Power Automate'iga
- Tee andmed ärikasutajatele kättesaadavaks API-de, ühenduste ja kureeritud andmekogumite kaudu
- Kavanda ja optimeeri Databricksi lakehouse-arhitektuure
- Integreeri SQL Server, Oracle ja muud ettevõtte andmeallikad
- Rakenda dimensioonmodelleerimise, partitsioneerimise ja optimeerimise meetodeid
- Töötle struktureeritud ja poolstruktureeritud vorminguid, sealhulgas JSON-i ja Parquet't
- Paranda jõudlust vahemällu salvestamise, indekseerimise ja Sparki optimeerimise abil
- Avalda kureeritud andmekogumeid Power BI, Power Appsi ja Power Automate'i töövoogude jaoks
- Hoia andmekvaliteeti üksustestide, valideerimisraamistike ja automaatsete kontrollidega
- Jälgi ja lahenda hajutatud Sparki töökoormuste ning andmekanalite probleeme
- Uuri logisid ja lahenda tootmisprobleeme Databricksis ning pilvekeskkondades
- Hoia andmeliini, järjepidevust ja auditeerimisvalmidust
- Tee koostööd õigus-, turbe-, vastavus- ja ettevõtte andmemeeskondadega
- Muuda ärinõuded andmeinseneeria lahendusteks
- Ole Databricksi ja lakehouse-arhitektuuri aineekspert
- Juhi algatusi iseseisvalt ja vastuta tulemuste eest
- Toeta andmehaldust Databricks Unity Catalogi ning AWS IAM-i ja KMS-i kontrollidega
- Täida andmekaitse-, regulatiivseid, turbe- ja auditeerimisnõudeid
- Hoia juurdepääsukontrolle ning andmete liigitamise ja käitlemise standardeid
- Tee IAM-i ja turvameeskondadega koostööd andmetele juurdepääsu kaitsmiseks
- Kavanda ja halda CI/CD-konveiereid Harnessi, Azure DevOpsi või GitHubi abil
- Automatiseeri Databricksi varade juurutamist Databricks Reposi ja CLI abil
- Jälgi, ajasta ja optimeeri töövooge Databricksi orkestreerimistööriistadega
- Hoia arhitektuuri-, andmevoo- ja käitusjuhendite dokumentatsiooni
- Paranda platvormi jõudlust, skaleeritavust ja kulutõhusust
Nõuded
- Arvutiteaduse, andmeinseneeria, infosüsteemide või muu seotud tehnilise valdkonna bakalaureuse- või magistrikraad
- Vähemalt 8 aastat kogemust andmeinseneeria või andmeplatvormide arendamise alal
- Praktilised teadmised Databricksist ja Apache Sparkist
- PySparki, Pythoni ja SQL-i oskus
- Kogemus AWS-i andmeteenustega, sealhulgas S3, Glue, Lambda ja IAM
- Kogemus Delta Lake'i ja lakehouse-arhitektuuriga
- Hajutatud andmetöötluse põhjalikud teadmised
- ETL- ja ELT-raamistike põhjalikud teadmised
- Andmemudelite koostamise tehnikate põhjalikud teadmised
- Praktiline kogemus Databricksi komponentidega, nagu Delta Lake, Workflows ja Unity Catalog
- Laialdane kogemus AWS-i ja Databricksi abil täielike pakett- ja voogtöötluskanalite loomisel
- Sparki ja Delta Lake'i jõudluse optimeerimise tundmine
- Kogemus analüütika, aruandluse või tehisintellekti- ja masinõppe töökoormuste toetamisel lakehouse-platvormil
- Andmehalduse, metaandmete halduse ja turbekontrollide tundmine
- Kogemus õigus-, vastavus-, finantsteenuste või muudes reguleeritud valdkondades
- Õiguslike andmekontseptsioonide, sealhulgas lepingute, klauslite, kohustuste ja menetluste mõistmine
- Kokkupuude struktureerimata andmete töötlemise või dokumentide ja NLP-konveieritega
- Kogemus Power BI, Power Appsi või Power Platformiga
- Kogemus tundlike andmete haldamisel auditipõhistes keskkondades
Hüved
- 401(k) pensionisäästuplaan tööandja sissemaksetega
- Kindlustusvõimalused, sealhulgas põhiline elukindlustus, tervise-, hambaravi- ja nägemiskindlustus, pikaajalise töövõimetuse kindlustus ning muu vabatahtlik kaitse
- Tasustatud puhkus, mis hõlmab puhkust, haiguspäevi, lühiajalist töövõimetust ja perekondlikke hoolduskohustusi
- Töötajate abiprogramm
- Tulemustasu, sealhulgas võimalus saada iga-aastaseid tulemustel põhinevaid preemiaid
- Võimalus osaleda valitud maksusoodustusega säästuplaanides
- Kaasavad professionaalse arengu võimalused
- Paindlik töö- ja eraelu toetamine
- Tasustatud vabatahtliku töö päevad
- Töötajate võrgustikud