LogoFresh Jobs Ahead
State Street
State Street
Sponsor för H1B-visumBankverksamhetFinansFintech
State Street är ett globalt finansiellt tjänsteföretag som betjänar institutionella investerare genom lösningar för kapitalförvaltning och investeringstjänster. Erbjudandet omfattar bland annat kapitalförvaltning, depåtjänster och investeringsanalys, med stöd av expertis inom finans, fintech och bankverksamhet. Företaget fokuserar på att hjälpa kunder att hantera komplexa investeringsaktiviteter med data, insikter och operativ kapacitet som är utformade för att förbättra effektiviteten och stödja finansiellt beslutsfattande.
LinkedIn
Jobb på företaget

Dataingenjör, biträdande vice vd – Princeton, NJ

Bygg AWS- och Databricks-lakehouseplattformar som stöder State Streets juridik- och complianceverksamhet. Utveckla styrda datapipelines för analys, rapportering och AI/ML-tillämpningar.

USUSAMAMassachusettsNJNew Jersey
100 000 $ – 167 500 $ / år
På platsHeltidLeadObligatoriskt Språk: engelskaDataingenjör
ApacheAWSAzureDockerETLMolnOraclePySparkPythonSparkSQLUnity

Beskrivning

  • Bygg och underhåll skalbara datapipelines med PySpark, Python och Spark SQL
  • Utveckla och optimera Databricks ETL/ELT-arbetsflöden med Delta Lake
  • Implementera Bronze-, Silver- och Gold-lakehousearkitektur för företagsdataplattformar
  • Hantera Databricks Jobs, Workflows och Notebooks för batch- och strömningsarbetsbelastningar
  • Skapa återanvändbara ramverk för datainmatning, bearbetning och orkestrering
  • Containerisera dataarbetsbelastningar med Docker och automatisera processer genom skriptning
  • Anslut Databricks-pipelines till Power Apps och Power Automate
  • Tillgängliggör data för verksamhetsanvändare genom API:er, anslutningar och kurerade dataset
  • Utforma och optimera Databricks-lakehousearkitekturer
  • Integrera SQL Server, Oracle och andra företagsdatakällor
  • Tillämpa dimensionsmodellering, partitionering och optimeringsmetoder
  • Bearbeta strukturerade och semistrukturerade format, inklusive JSON och Parquet
  • Förbättra prestandan genom cachelagring, indexering och Spark-optimering
  • Publicera kurerade dataset för Power BI, Power Apps och Power Automate-arbetsflöden
  • Upprätthåll datakvaliteten med enhetstester, valideringsramverk och automatiserade kontroller
  • Övervaka och felsök distribuerade Spark-arbetsbelastningar och pipelines
  • Undersök loggar och lös produktionsproblem i Databricks- och molnmiljöer
  • Upprätthåll datalinjering, konsekvens och revisionsberedskap
  • Samarbeta med juridik-, säkerhets-, compliance- och enterprise-datateam
  • Omsätt verksamhetskrav till datatekniska lösningar
  • Agera ämnesexpert inom Databricks och lakehousearkitektur
  • Driv initiativ självständigt och ta ansvar för leveranser
  • Stöd datastyrning med Databricks Unity Catalog samt AWS IAM- och KMS-kontroller
  • Uppfyll krav på datasekretess, regelefterlevnad, säkerhet och revision
  • Upprätthåll åtkomstkontroller samt standarder för dataklassificering och datahantering
  • Samarbeta med IAM- och säkerhetsteam för att skydda dataåtkomst
  • Utforma och underhåll CI/CD-pipelines med Harness, Azure DevOps eller GitHub
  • Automatisera distribution av Databricks-tillgångar med Databricks Repos och CLI
  • Övervaka, schemalägg och optimera arbetsflöden med Databricks orkestreringsverktyg
  • Underhåll dokumentation för arkitektur, dataflöden och driftmanualer
  • Förbättra plattformens prestanda, skalbarhet och kostnadseffektivitet

Krav

  • Kandidat- eller masterexamen i datavetenskap, data engineering, informationssystem eller ett närliggande tekniskt område
  • Minst 8 års erfarenhet av data engineering eller utveckling av dataplattformar
  • Praktisk expertis inom Databricks och Apache Spark
  • Goda kunskaper i PySpark, Python och SQL
  • Erfarenhet av AWS-datatjänster, inklusive S3, Glue, Lambda och IAM
  • Erfarenhet av Delta Lake och lakehousearkitektur
  • Djupa kunskaper i distribuerad databearbetning
  • Djupa kunskaper i ETL- och ELT-ramverk
  • Djupa kunskaper i datamodelleringstekniker
  • Praktisk erfarenhet av Databricks-komponenter som Delta Lake, Workflows och Unity Catalog
  • Omfattande erfarenhet av att bygga heltäckande batch- och strömningspipelines med AWS och Databricks
  • Kännedom om prestandaoptimering för Spark och Delta Lake
  • Erfarenhet av att stödja analys-, rapporterings- eller AI/ML-arbetsbelastningar på en lakehouseplattform
  • Kunskaper i datastyrning, metadatahantering och säkerhetskontroller
  • Erfarenhet från juridik, compliance, finansiella tjänster eller andra reglerade branscher
  • Förståelse för juridiska datakoncept, inklusive avtal, klausuler, skyldigheter och ärenden
  • Erfarenhet av eller insyn i bearbetning av ostrukturerade data eller dokument- och NLP-pipelines
  • Erfarenhet av Power BI, Power Apps eller Power Platform
  • Erfarenhet av att hantera känsliga data i revisionsdrivna miljöer

Förmåner

  • 401(k)-pensionssparplan med arbetsgivarens matchning
  • Försäkringsalternativ, inklusive grundläggande livförsäkring, sjukförsäkring, tandvårdsförsäkring, synvårdsförsäkring, långvarig sjukförsäkring och annan valfri täckning
  • Betald ledighet för semester, sjukfrånvaro, kortvarig sjukförsäkring och ansvar för familjeomsorg
  • Program för medarbetarstöd
  • Rörlig ersättning med möjlighet att omfattas av årliga prestationsbaserade utmärkelser
  • Möjlighet att delta i utvalda skattegynnade sparplaner
  • Inkluderande möjligheter till professionell utveckling
  • Flexibelt stöd för balans mellan arbete och privatliv
  • Betalda volontärdagar
  • Medarbetarnätverk

Relaterade jobb

SPERTON - Where Great People Meet

Säljare av hissar och parkeringssystem

SPERTON - Where Great People Meet
51 – 200 Anställda
INIndienHybridHeltidMellannivåSeniorObligatoriskt Språk: engelskaFörsäljning

Driv försäljningen av hissar och parkeringssystem i Mumbais västra region. Bygg relationer med kunder och återförsäljare och hantera affärer från första förfrågan till projektgenomförande.

Öppna