State Street
State Street
State Street is een wereldwijd financieel dienstverleningsbedrijf dat institutionele beleggers ondersteunt met oplossingen voor vermogensbeheer en beleggingsdienstverlening. Het aanbod omvat vermogensbeheer, bewaarnemingsdiensten en beleggingsonderzoek, ondersteund door expertise op het gebied van financiën, fintech en bankwezen. Het bedrijf helpt klanten complexe beleggingsactiviteiten te beheren met data, inzichten en operationele mogelijkheden die de efficiëntie verbeteren en financiële besluitvorming ondersteunen.

Data Engineer, Assistant Vice President – Princeton, NJ

Bouw AWS- en Databricks-lakehouseplatforms ter ondersteuning van de juridische en complianceactiviteiten van State Street. Ontwikkel beheerde datapijplijnen voor analytics, rapportage en AI/ML-toepassingen.

Beschrijving

  • Schaalbare datapijplijnen bouwen en onderhouden met PySpark, Python en Spark SQL
  • Databricks ETL/ELT-workflows met Delta Lake ontwikkelen en optimaliseren
  • Een Bronze-, Silver- en Gold-lakehousearchitectuur implementeren voor bedrijfbrede dataplatforms
  • Databricks Jobs, Workflows en Notebooks beheren voor batch- en streamingworkloads
  • Herbruikbare frameworks ontwikkelen voor data-inname, verwerking en orkestratie
  • Dataworkloads containeriseren met Docker en processen automatiseren met scripts
  • Databricks-pijplijnen verbinden met Power Apps en Power Automate
  • Gegevens beschikbaar maken voor zakelijke gebruikers via API's, connectors en samengestelde datasets
  • Databricks-lakehousearchitecturen ontwerpen en optimaliseren
  • SQL Server, Oracle en andere bedrijfsdatabronnen integreren
  • Dimensionale modellering, partitionering en optimalisatiemethoden toepassen
  • Gestructureerde en semigestructureerde formaten zoals JSON en Parquet verwerken
  • Prestaties verbeteren door caching, indexering en Spark-optimalisatie
  • Samengestelde datasets publiceren voor Power BI, Power Apps en Power Automate-workflows
  • Datakwaliteit waarborgen met unit tests, validatieframeworks en geautomatiseerde controles
  • Gedistribueerde Spark-workloads en pijplijnen monitoren en problemen oplossen
  • Logs onderzoeken en productieproblemen in Databricks- en cloudomgevingen oplossen
  • Dataherkomst, consistentie en auditgereedheid onderhouden
  • Samenwerken met de teams voor Legal, Security, Compliance en Enterprise Data
  • Bedrijfsvereisten vertalen naar data-engineeringoplossingen
  • Optreden als inhoudelijk expert op het gebied van Databricks en lakehousearchitectuur
  • Initiatieven zelfstandig leiden en verantwoordelijkheid nemen voor resultaten
  • Governance ondersteunen met Databricks Unity Catalog en AWS IAM- en KMS-controles
  • Voldoen aan vereisten op het gebied van gegevensprivacy, regelgeving, beveiliging en audits
  • Toegangscontroles en normen voor dataclassificatie en gegevensverwerking onderhouden
  • Samenwerken met IAM- en securityteams om de gegevenstoegang te beschermen
  • CI/CD-pijplijnen ontwerpen en onderhouden met Harness, Azure DevOps of GitHub
  • Implementaties van Databricks-assets automatiseren met Databricks Repos en CLI
  • Workflows monitoren, plannen en optimaliseren met Databricks-orkestratietools
  • Documentatie over architectuur, gegevensstromen en runbooks onderhouden
  • Platformprestaties, schaalbaarheid en kostenefficiëntie verbeteren

Vereisten

  • Bachelor- of masterdiploma in computerwetenschappen, data-engineering, informatiesystemen of een verwant technisch vakgebied
  • Minimaal 8 jaar ervaring in data-engineering of de ontwikkeling van dataplatforms
  • Praktische expertise met Databricks en Apache Spark
  • Goede beheersing van PySpark, Python en SQL
  • Ervaring met AWS-dataservices, waaronder S3, Glue, Lambda en IAM
  • Ervaring met Delta Lake en lakehousearchitectuur
  • Grondige kennis van gedistribueerde gegevensverwerking
  • Grondige kennis van ETL- en ELT-frameworks
  • Grondige kennis van datamodelleringstechnieken
  • Praktische ervaring met Databricks-componenten zoals Delta Lake, Workflows en Unity Catalog
  • Uitgebreide ervaring met het bouwen van end-to-end batch- en streamingpijplijnen met AWS en Databricks
  • Bekendheid met prestatieoptimalisatie van Spark en Delta Lake
  • Ervaring met het ondersteunen van analytics-, rapportage- of AI/ML-workloads op een lakehouseplatform
  • Kennis van datagovernance, metadatabeheer en beveiligingscontroles
  • Ervaring in Legal, Compliance, financiële dienstverlening of andere gereguleerde sectoren
  • Inzicht in juridische dataconcepten, waaronder contracten, clausules, verplichtingen en dossiers
  • Ervaring met ongestructureerde gegevensverwerking of document- en NLP-pijplijnen
  • Ervaring met Power BI, Power Apps of Power Platform
  • Ervaring met het beheren van gevoelige gegevens in auditgedreven omgevingen

Voordelen

  • 401(k)-pensioenspaarplan met werkgeversbijdrage
  • Verzekeringsopties waaronder een basislevensverzekering, medische verzekering, tandartsverzekering, zichtverzekering, langdurige arbeidsongeschiktheidsverzekering en andere optionele dekking
  • Betaald verlof voor vakantie, ziekte, kortdurende arbeidsongeschiktheid en zorgtaken voor familieleden
  • Employee Assistance Program
  • Variabele beloning met mogelijkheid tot jaarlijkse prestatieafhankelijke beloningen
  • Mogelijkheid om deel te nemen aan geselecteerde fiscaal voordelige spaarregelingen
  • Inclusieve mogelijkheden voor professionele ontwikkeling
  • Flexibele ondersteuning voor een goede werk-privébalans
  • Betaalde dagen voor vrijwilligerswerk
  • Werknemersnetwerken

Gerelateerde vacatures

ICF

Senior hoofdredacteur publicaties

ICF

Leid het kwartaalmagazine van ICF Next van productieplanning tot publicatie, bewaak de redactionele kwaliteit en coördineer de goedkeuring door betrokkenen. Pas federale publicatiestandaarden, de GPO Style Manual, de Chicago Manual of Style en de toegankelijkheidseisen van Section 508 toe.

Openen
RELX

Hoofdredacteur, Device Journal

RELX

Bepaal de redactionele koers van Cell Press-tijdschrift Device, dat onderzoek naar toegepaste technologie publiceert. Leid het redactieteam, beoordeel inzendingen en onderhoud contacten met onderzoekers wereldwijd.

Openen
LexisNexis

Hoofdredacteur, Device Journal

LexisNexis

Bepaal de redactionele strategie voor Device van Elsevier’s Cell Press, een tijdschrift over toegepast technologieonderzoek. Leid het redactieteam en werk samen met onderzoekers wereldwijd aan de ontwikkeling van het tijdschrift.

Openen
RELX

Hoofdredacteur, Device Journal

RELX

Geef leiding aan het tijdschrift Device van Cell Press, dat onderzoek naar toegepaste technologie publiceert. Bepaal de redactionele koers, stuur het team aan en onderhoud wereldwijd contact met onderzoekers.

Openen