LogoFresh Jobs Ahead
Sigma Software Group
Sigma Software Group
1.001 – 5.000 Medarbejdere
BilindustriRådgivningSundhedsvæsen
Sigma Software Group er en multinational teknologikonsulentvirksomhed, der blev grundlagt i 2002. Virksomhedens teams leverer softwareudvikling, grafisk design, test og teknisk support til kunder inden for blandt andet bilindustrien, sundhedssektoren, telekommunikation, luftfart, bank, gaming, ejendomme og reklame. Virksomheden ansætter IT-specialister til at arbejde på komplekse tekniske projekter og understøtter faglig udvikling gennem mentorskab og løbende læring. Fjernarbejde er en del af virksomhedens arbejdsmodel, og projekterne betjener organisationer som AstraZeneca, Scania og SAS.
LinkedIn
Job i virksomheden

Senior dataingeniør, Databricks-migrering

Migrér en storstilet analyseplatform til detailhandel fra BigQuery til Databricks, og byg Lakehouse-arkitekturer, Spark-pipelines og styrede dataløsninger hos Sigma Software Group.

UAUkraineFjernarbejdeFuldtidSeniorPåkrævet Sprog: engelskDataingeniør
AirflowApacheBigQueryCloudETLPySparkPythonSparkSQLUnity

Beskrivelse

  • Hjælp med at migrere en storstilet analyseplatform fra BigQuery til Databricks.
  • Design og byg skalerbare Lakehouse-arkitekturer med Databricks og Delta Lake.
  • Vurder eksisterende ETL- og ELT-arbejdsbelastninger, og fastlæg migrationsplaner.
  • Udvikl og finjuster pipelines til store mængder detailhandels- og analysedata.
  • Skab strategier for inkrementel behandling og skalerbare transformationsrammer.
  • Byg og vedligehold Spark-løsninger til databehandling med PySpark.
  • Design og vedligehold Bronze-, Silver- og Gold-lag i medallion-arkitekturen.
  • Anvend praksisser for datastyring og sikkerhed med Unity Catalog.
  • Samarbejd med teams inden for datavidenskab, analyse, produkt og kundeudvikling.
  • Bidrag til arkitekturdiskussioner og design af tekniske løsninger.
  • Skab genanvendelige komponenter til dataplatforme og tekniske standarder.
  • Gennemgå kode, og forbedr platformens pålidelighed og vedligeholdelsesvenlighed.
  • Fejlsøg og optimer komplekse SQL- og Spark-arbejdsbelastninger.
  • Understøt produktionsudgivelser og modernisering af platformen.

Krav

  • Mindst fem års professionel erfaring med data engineering.
  • Stærke Python-kompetencer og avanceret SQL-færdighed.
  • Praktisk erhvervserfaring med Databricks.
  • Stærkt kendskab til Apache Spark, især PySpark.
  • Erfaring med at designe og bygge moderne cloud-dataplatforme.
  • Erfaring med at udvikle ETL- eller ELT-pipelines og løsninger til databehandling i stor skala.
  • Praktisk erfaring med Delta Lake.
  • Erfaring med Spark Declarative Pipelines.
  • Erfaring med at overvåge klynger, analysere målinger og optimere ydeevne.
  • Stærk forståelse af arkitekturer til distribueret databehandling.
  • Solid viden om datalagre og dimensionel modellering.
  • Erfaring med Airflow eller et lignende orkestreringsværktøj.
  • Erfaring med at finjustere komplekse analytiske SQL-arbejdsbelastninger.
  • Erfaring med at implementere CI/CD-praksisser for dataplatforme.
  • Stærke færdigheder inden for fejlfinding og ydeevneoptimering.
  • Evne til at samarbejde med tværfunktionelle teams på tværs af internationale miljøer.
  • Engelsk på øvre mellemniveau eller højere.

Fordele

  • Løbende muligheder for at lære nyt.
  • Muligheder for at udvikle din teknologiske ekspertise.
  • Mulighed for at gøre en meningsfuld forskel gennem ingeniørarbejde.
  • Arbejd med komplekse internationale projekter.

Relaterede job