LogoFresh Jobs Ahead
State Street
State Street
Sponsor for H1B-visumBankvirksomhetFinansFintech
State Street er et globalt selskap innen finansielle tjenester som betjener institusjonelle investorer gjennom løsninger for kapitalforvaltning og investeringstjenester. Tilbudet omfatter blant annet kapitalforvaltning, depotjenester og investeringsanalyse, støttet av ekspertise innen finans, fintech og bankvirksomhet. Selskapet fokuserer på å hjelpe kunder med å håndtere komplekse investeringsaktiviteter ved hjelp av data, innsikt og operativ kapasitet som er utviklet for å forbedre effektiviteten og støtte finansielle beslutninger.
LinkedIn
Jobber i bedriften

Dataingeniør, assisterende visepresident – Princeton, NJ

Bygg AWS- og Databricks-lakehouseplattformer som støtter State Streets juridiske og compliance-relaterte virksomhet. Utvikle styrte datapipelines for analyse, rapportering og AI/ML-applikasjoner.

USUSAMAMassachusettsNJNew Jersey
100 000 $ – 167 500 $ / år
På stedetHeltidLeadPåkrevd Språk: engelskDataingeniør
ApacheAWSAzureDockerETLOraclePySparkPythonSkySparkSQLUnity

Beskrivelse

  • Bygg og vedlikehold skalerbare datapipelines med PySpark, Python og Spark SQL
  • Utvikle og optimaliser Databricks ETL/ELT-arbeidsflyter med Delta Lake
  • Implementer Bronze-, Silver- og Gold-lakehousearkitektur for virksomhetens dataplattformer
  • Administrer Databricks Jobs, Workflows og Notebooks for batch- og strømmebaserte arbeidsbelastninger
  • Opprett gjenbrukbare rammeverk for datainnhenting, behandling og orkestrering
  • Konteineriser dataarbeidsbelastninger med Docker og automatiser prosesser gjennom skripting
  • Koble Databricks-pipelines til Power Apps og Power Automate
  • Gjør data tilgjengelig for forretningsbrukere gjennom API-er, koblinger og kuraterte datasett
  • Utform og optimaliser Databricks-lakehousearkitekturer
  • Integrer SQL Server, Oracle og andre datakilder for virksomheten
  • Bruk dimensjonsmodellering, partisjonering og optimaliseringsmetoder
  • Behandle strukturerte og semistrukturerte formater, inkludert JSON og Parquet
  • Forbedre ytelsen gjennom hurtigbufring, indeksering og Spark-optimalisering
  • Publiser kuraterte datasett for Power BI, Power Apps og Power Automate-arbeidsflyter
  • Oppretthold datakvaliteten med enhetstester, valideringsrammeverk og automatiserte kontroller
  • Overvåk og feilsøk distribuerte Spark-arbeidsbelastninger og pipelines
  • Undersøk logger og løs produksjonsproblemer på tvers av Databricks- og skymiljøer
  • Vedlikehold datalinjer, konsistens og revisjonsberedskap
  • Samarbeid med juridiske, sikkerhets-, compliance- og enterprise-datateam
  • Gjør forretningskrav om til data engineering-løsninger
  • Vær fagekspert på Databricks og lakehousearkitektur
  • Led initiativer selvstendig og ta ansvar for leveranser
  • Støtt datastyring med Databricks Unity Catalog samt AWS IAM- og KMS-kontroller
  • Oppfyll krav til personvern, regelverk, sikkerhet og revisjon
  • Vedlikehold tilgangskontroller samt standarder for dataklassifisering og datahåndtering
  • Samarbeid med IAM- og sikkerhetsteam for å beskytte datatilgang
  • Utform og vedlikehold CI/CD-pipelines med Harness, Azure DevOps eller GitHub
  • Automatiser distribusjon av Databricks-ressurser med Databricks Repos og CLI
  • Overvåk, planlegg og optimaliser arbeidsflyter med Databricks' orkestreringsverktøy
  • Vedlikehold dokumentasjon for arkitektur, dataflyt og driftsrutiner
  • Forbedre plattformens ytelse, skalerbarhet og kostnadseffektivitet

Krav

  • Bachelor- eller mastergrad i informatikk, data engineering, informasjonssystemer eller et beslektet teknisk fagområde
  • Minst 8 års erfaring med data engineering eller utvikling av dataplattformer
  • Praktisk ekspertise innen Databricks og Apache Spark
  • Gode ferdigheter i PySpark, Python og SQL
  • Erfaring med AWS-datatjenester, inkludert S3, Glue, Lambda og IAM
  • Erfaring med Delta Lake og lakehousearkitektur
  • Solid kunnskap om distribuert databehandling
  • Solid kunnskap om ETL- og ELT-rammeverk
  • Solid kunnskap om datamodelleringsteknikker
  • Praktisk erfaring med Databricks-komponenter som Delta Lake, Workflows og Unity Catalog
  • Omfattende erfaring med å bygge ende-til-ende batch- og streamingpipelines med AWS og Databricks
  • Kjennskap til ytelsesoptimalisering av Spark og Delta Lake
  • Erfaring med å støtte analyse-, rapporterings- eller AI/ML-arbeidsbelastninger på en lakehouseplattform
  • Kunnskap om datastyring, metadatahåndtering og sikkerhetskontroller
  • Erfaring fra juridisk virksomhet, compliance, finansielle tjenester eller andre regulerte bransjer
  • Forståelse av juridiske datakoncepter, inkludert kontrakter, klausuler, forpliktelser og saker
  • Erfaring med eller kjennskap til behandling av ustrukturerte data eller dokument- og NLP-pipelines
  • Erfaring med Power BI, Power Apps eller Power Platform
  • Erfaring med å håndtere sensitive data i revisjonsdrevne miljøer

Fordeler

  • 401(k)-pensjonsspareordning med arbeidsgivermatching
  • Forsikringsalternativer, inkludert grunnleggende livsforsikring, helseforsikring, tannforsikring, synsforsikring, langsiktig uføreforsikring og annen valgfri dekning
  • Betalt permisjon for ferie, sykdom, kortvarig uførhet og omsorgsansvar for familien
  • Program for medarbeiderstøtte
  • Insentivbasert godtgjørelse med mulighet for årlige prestasjonsbaserte utbetalinger
  • Mulighet til å delta i utvalgte skattebegunstigede spareordninger
  • Inkluderende muligheter for faglig utvikling
  • Fleksibel støtte til balanse mellom arbeid og privatliv
  • Betalte frivillighetsdager
  • Medarbeidernettverk

Relaterte jobber

Bloomlife Inc

Account executive innen helsesalg på avstand

Bloomlife Inc
11 – 50 Ansatte
HelseforsikringHelsevesenKunstig intelligens
USUSAFjernarbeidHeltidMellomnivåSeniorPåkrevd Språk: engelskSalg

Utvikle Bloomlifes fjernbaserte virksomhet for overvåking av svangerskap ved å selge løsninger for pasientovervåking på avstand til fødsels- og gynekologiklinikker og helsesystemer. Ha ansvar for hele salgsprosessen, fra prospektering og kliniske presentasjoner til kontraktsforhandlinger og overlevering for implementering.

Åpne