LogoFresh Jobs Ahead
Sigma Software Group
Sigma Software Group
1 001 – 5 000 Ansatte
BilindustriHelsevesenRådgivning
Sigma Software Group er et multinasjonalt teknologikonsulentselskap som ble grunnlagt i 2002. Teamene i selskapet leverer programvareutvikling, grafisk design, testing og teknisk støtte til kunder innen blant annet bilindustrien, helsesektoren, telekommunikasjon, luftfart, bank, spill, eiendom og reklame. Selskapet ansetter IT-spesialister til å arbeide med komplekse tekniske prosjekter og støtter faglig utvikling gjennom veiledning og kontinuerlig læring. Fjernarbeid er en del av arbeidsmodellen, og prosjektene betjener organisasjoner som AstraZeneca, Scania og SAS.
LinkedIn
Jobber i bedriften

Senior dataingeniør, Databricks-migrering

Migrer detaljhandelsanalyse for store virksomheter fra BigQuery til Databricks Lakehouse. Bygg skalerbare PySpark-pipelines, medallion-arkitektur og styrte skybaserte dataplattformer.

RORomaniaFjernarbeidHeltidSeniorPåkrevd Språk: engelskDataingeniør
AirflowApacheBigQueryETLPySparkPythonSkySparkSQLUnity

Beskrivelse

  • Bidra til å migrere en storskala analyseplattform fra BigQuery til Databricks.
  • Utform og bygg skalerbare Lakehouse-arkitekturer med Databricks og Delta Lake.
  • Vurder eksisterende ETL- og ELT-arbeidsbelastninger, og definer migreringstilnærminger.
  • Bygg og optimaliser pipelines for store mengder detaljhandels- og analysedata.
  • Implementer strategier for inkrementell behandling og skalerbare rammeverk for transformering.
  • Utvikle og vedlikehold Spark-løsninger for databehandling med PySpark.
  • Utform og vedlikehold medallion-lagene Bronze, Silver og Gold.
  • Bruk praksiser for datastyring og sikkerhet med Unity Catalog.
  • Samarbeid med team innen datavitenskap, analyse, produkt og kundeteknikk.
  • Bidra i arkitekturdiskusjoner og utforming av tekniske løsninger.
  • Lag gjenbrukbare komponenter for dataplattformer og tekniske standarder.
  • Gå gjennom kode, og forbedre plattformens pålitelighet og vedlikeholdbarhet.
  • Feilsøk og optimaliser komplekse SQL- og Spark-arbeidsbelastninger.
  • Støtt produksjonssettinger og modernisering av plattformen.

Krav

  • Minst fem års yrkeserfaring som dataingeniør.
  • Gode programmeringsferdigheter i Python og avanserte SQL-ferdigheter.
  • Praktisk, kommersiell erfaring med Databricks.
  • God kjennskap til Apache Spark, særlig PySpark.
  • Erfaring med å utforme og bygge moderne skybaserte dataplattformer.
  • Erfaring med å utvikle ETL- og ELT-pipelines og løsninger for storskala databehandling.
  • Praktisk erfaring med Delta Lake.
  • Erfaring med Spark Declarative Pipelines.
  • Erfaring med å overvåke klynger, analysere måledata og optimalisere ytelse.
  • Forståelse av arkitekturer for distribuert databehandling.
  • Forståelse av datavarehuskonsepter og dimensjonal modellering.
  • Erfaring med Airflow eller et tilsvarende orkestreringsverktøy.
  • Erfaring med å optimalisere komplekse analytiske SQL-arbeidsbelastninger.
  • Erfaring med å bruke CI/CD-praksis på plattformer for datateknikk.
  • Gode ferdigheter innen feilsøking og ytelsesoptimalisering.
  • Evne til å samarbeide effektivt med tverrfaglige, internasjonale team.
  • Engelsk på øvre mellomnivå eller høyere.

Fordeler

  • Fjernarbeid er tilgjengelig for ansatte.
  • Muligheter for kontinuerlig læring.
  • Muligheter til å utvikle seg med teknologien.
  • Meningsfull påvirkning gjennom ingeniørarbeid.
  • Arbeid med komplekse internasjonale prosjekter.

Relaterte jobber