The Codest
The Codest
The Codest er et internasjonalt programvareutviklingsselskap med hovedkontor i Storbritannia og teknologihuber i Polen. Selskapet utvikler digitale produkter og utvider kundenes utviklingsteam med erfarne utviklere innen backend- og frontendutvikling, skyteknologi og data engineering. The Codest samarbeider med større virksomheter, vekstselskaper og programvareleverandører om prosjektutvikling og utvidelse av team. Kundene inkluderer virksomheter innen fintech, netthandel og adtech.

Senior dataingeniør innen Databricks

Bygg Databricks-plattformer og datapipelines på avstand fra Polen. Bidra til en kundevendt bankapp for en stor japansk finanskonsern.

Beskrivelse

  • Bygg og vedlikehold skalerbare Databricks-dataplattformer og datapipelines.
  • Samarbeid med tverrfaglige team for å sikre pålitelige og lett tilgjengelige data for analyse og business intelligence.
  • Bruk lakehouse-lagene Bronze, Silver og Gold for å implementere Medallion Architecture.
  • Lag rammeverk for datakvalitet med automatiserte tester og overvåking.
  • Bruk time travel, vacuum-operasjoner og Z-ordering i Delta Lake.
  • Utvikle og vedlikehold komplekse ETL/ELT-pipelines for store daglige datasett.
  • Sett opp CI/CD-arbeidsflyter for datapipelines med Databricks Asset Bundles eller tilsvarende verktøy.
  • Bygg løsninger for batch- og sanntidsbehandling med Structured Streaming og Delta Live Tables.
  • Forbedre ytelsen og kostnadseffektiviteten til Spark-jobber gjennom automatisk skalering av klynger og ressursstyring.
  • Integrer Databricks-API-er med eksterne systemer.
  • Utform skalerbare dataarkitekturer med Unity Catalog, Delta Lake og Apache Spark.
  • Bygg data mesh-arkitekturer med styring og sporing av dataopprinnelse.
  • Bidra til en kundevendt bankapplikasjon for en ledende finanskonsern i Japan.

Krav

  • Ha minst seks års erfaring med data engineering.
  • Ha dokumentert erfaring med å utforme og sette i produksjon datapipelines og ETL/ELT-arbeidsflyter.
  • Ha gode kunnskaper i Python, PySpark og SQL.
  • Ha omfattende praktisk erfaring med AWS Glue, Lambda, Redshift og S3.
  • Kjenne til verktøy for datastyring og dataforvaltning, inkludert Unity Catalog og AWS SageMaker Unified Studio.
  • Ha erfaring med datamigrering og modernisering av eldre systemer.
  • Kommunisere effektivt på engelsk.
  • Databricks Certified Professional Data Engineer-sertifisering eller tilsvarende er en fordel.
  • Erfaring med containerisering og orkestreringsverktøy som Docker og Kubernetes er en fordel.

Fordeler

  • Jobb i et samarbeidsorientert og engasjerende miljø.
  • Få muligheter for faglig utvikling.
  • Bidra til et internasjonalt bankapp-prosjekt.
  • Jobb på avstand.

Relaterte jobber

Wella Company

Praktikant innen rapportering og business intelligence (lønnet praksis i 12 måneder)

Wella Company
5 001 – 10 000 Ansatte
DetaljhandelProduksjonSkjønnhet

Bli en del av Wellas globale forsyningskjedeteam i en lønnet fjernpraksis med fokus på dashboards, dataanalyse og automatisering av rapportering. Få praktisk erfaring med Power BI, Excel, SQL og verktøy for automatisering av arbeidsflyter.

Åpne
Emerson

Forretningsutviklingsleder for naturgass – Italia

Emerson

Utvikle Emersons virksomhet innen automasjon og tjenester for naturgass i Italia ved å skape muligheter med OEM-er, industrikunder og kunder i gassektoren. Rollen fokuserer også på å utvide livssyklustjenestene.

Åpne