LogoFresh Jobs Ahead
Sigma Software Group
Sigma Software Group
1.001 – 5.000 Medarbejdere
BilindustriRådgivningSundhedsvæsen
Sigma Software Group er en multinational teknologikonsulentvirksomhed, der blev grundlagt i 2002. Virksomhedens teams leverer softwareudvikling, grafisk design, test og teknisk support til kunder inden for blandt andet bilindustrien, sundhedssektoren, telekommunikation, luftfart, bank, gaming, ejendomme og reklame. Virksomheden ansætter IT-specialister til at arbejde på komplekse tekniske projekter og understøtter faglig udvikling gennem mentorskab og løbende læring. Fjernarbejde er en del af virksomhedens arbejdsmodel, og projekterne betjener organisationer som AstraZeneca, Scania og SAS.
LinkedIn
Job i virksomheden

Senior dataingeniør, Databricks-migrering

Migrér detailhandelsanalyse på virksomhedsniveau fra BigQuery til Databricks Lakehouse. Byg skalerbare PySpark-pipelines, medallion-arkitektur og styrede cloud-dataplatforme.

RORumænienFjernarbejdeFuldtidSeniorPåkrævet Sprog: engelskDataingeniør
AirflowApacheBigQueryCloudETLPySparkPythonSparkSQLUnity

Beskrivelse

  • Hjælp med at migrere en storskala analyseplatform fra BigQuery til Databricks.
  • Design og byg skalerbare Lakehouse-arkitekturer med Databricks og Delta Lake.
  • Vurder eksisterende ETL- og ELT-arbejdsbelastninger, og fastlæg migrationsmetoder.
  • Byg og optimér pipelines til store mængder detailhandels- og analysedata.
  • Implementér strategier for inkrementel behandling og skalerbare transformationsrammer.
  • Udvikl og vedligehold Spark-løsninger til databehandling med PySpark.
  • Design og vedligehold medallion-lagene Bronze, Silver og Gold.
  • Anvend praksisser for datastyring og sikkerhed med Unity Catalog.
  • Samarbejd med teams inden for datavidenskab, analyse, produkt og kundeteknik.
  • Bidrag til arkitekturdiskussioner og design af tekniske løsninger.
  • Skab genanvendelige dataplatformskomponenter og ingeniørstandarder.
  • Gennemgå kode, og forbedr platformens pålidelighed og vedligeholdelsesvenlighed.
  • Fejlsøg og optimér komplekse SQL- og Spark-arbejdsbelastninger.
  • Understøt produktionsimplementeringer og modernisering af platformen.

Krav

  • Mindst fem års erhvervserfaring som dataingeniør.
  • Stærke Python-programmeringsevner og avanceret SQL-kompetence.
  • Praktisk kommerciel erfaring med Databricks.
  • Solidt kendskab til Apache Spark, især PySpark.
  • Erfaring med at designe og bygge moderne cloud-dataplatforme.
  • Erfaring med at udvikle ETL- og ELT-pipelines samt løsninger til storskala databehandling.
  • Praktisk erfaring med Delta Lake.
  • Erfaring med Spark Declarative Pipelines.
  • Erfaring med at overvåge klynger, analysere målinger og optimere ydeevne.
  • Forståelse for arkitekturer til distribueret databehandling.
  • Forståelse for datalagerkoncepter og dimensional modellering.
  • Erfaring med Airflow eller et tilsvarende orkestreringsværktøj.
  • Erfaring med at optimere komplekse analytiske SQL-arbejdsbelastninger.
  • Erfaring med at anvende CI/CD-praksisser på datatekniske platforme.
  • Dygtig til fejlsøgning og ydeevneoptimering.
  • Evne til at arbejde effektivt med tværfunktionelle, internationale teams.
  • Engelsk på øvre mellemniveau eller højere.

Fordele

  • Fjernarbejde er muligt for medarbejdere.
  • Muligheder for løbende læring.
  • Muligheder for at udvikle sig sammen med teknologien.
  • Mulighed for at gøre en meningsfuld forskel gennem ingeniørarbejde.
  • Arbejde med komplekse internationale projekter.

Relaterede job