Sigma Software Group
Sigma Software Group
1.001 – 5.000 Mitarbeitende
AutomobilindustrieBeratungGesundheitswesen
Sigma Software Group ist ein multinationales Technologieberatungsunternehmen, das 2002 gegründet wurde. Die Teams bieten Softwareentwicklung, Grafikdesign, Tests und technischen Support für Kunden aus Bereichen wie Automobilindustrie, Gesundheitswesen, Telekommunikation, Luftfahrt, Bankwesen, Gaming, Immobilien und Werbung. Das Unternehmen stellt IT-Fachkräfte für anspruchsvolle Engineering-Projekte ein und unterstützt ihre berufliche Entwicklung durch Mentoring und kontinuierliches Lernen. Remote-Arbeit ist Teil des Arbeitsmodells, wobei die Projekte Organisationen wie AstraZeneca, Scania und SAS betreuen.

Senior Data Engineer für die Databricks-Migration

Migriere Enterprise-Retail-Analysen von BigQuery zu Databricks Lakehouse und entwickle skalierbare PySpark-Pipelines, eine Medallion-Architektur und gesteuerte Cloud-Datenplattformen.

Beschreibung

  • Unterstütze die Migration einer Analytics-Plattform im großen Maßstab von BigQuery zu Databricks.
  • Entwirf und entwickle skalierbare Lakehouse-Architekturen mit Databricks und Delta Lake.
  • Bewerte bestehende ETL- und ELT-Workloads und definiere Migrationsansätze.
  • Entwickle und optimiere Pipelines für große Mengen an Einzelhandels- und Analysedaten.
  • Implementiere Strategien für inkrementelle Verarbeitung und skalierbare Transformations-Frameworks.
  • Entwickle und betreue Spark-Datenverarbeitungslösungen mit PySpark.
  • Entwirf und betreue die Medallion-Schichten Bronze, Silver und Gold.
  • Setze Data-Governance- und Sicherheitspraktiken mit Unity Catalog um.
  • Arbeite mit den Teams für Data Science, Analytics, Produkt und Customer Engineering zusammen.
  • Beteilige dich an Architekturgesprächen und der technischen Lösungsentwicklung.
  • Erstelle wiederverwendbare Komponenten für Datenplattformen und Engineering-Standards.
  • Überprüfe Code und verbessere Zuverlässigkeit und Wartbarkeit der Plattform.
  • Analysiere und optimiere komplexe SQL- und Spark-Workloads.
  • Unterstütze Produktivsetzungen und die Modernisierung der Plattform.

Anforderungen

  • Mindestens fünf Jahre Berufserfahrung als Data Engineer.
  • Sehr gute Python-Kenntnisse und fortgeschrittene SQL-Kenntnisse.
  • Kommerzielle praktische Erfahrung mit Databricks.
  • Fundierte Kenntnisse in Apache Spark, insbesondere PySpark.
  • Erfahrung im Entwurf und Aufbau moderner Cloud-Datenplattformen.
  • Erfahrung in der Entwicklung von ETL- und ELT-Pipelines sowie Lösungen zur Datenverarbeitung im großen Maßstab.
  • Praktische Erfahrung mit Delta Lake.
  • Erfahrung mit Spark Declarative Pipelines.
  • Erfahrung in der Clusterüberwachung, der Analyse von Metriken und der Leistungsoptimierung.
  • Verständnis verteilter Datenverarbeitungsarchitekturen.
  • Verständnis von Data-Warehousing-Konzepten und dimensionaler Modellierung.
  • Erfahrung mit Airflow oder einem vergleichbaren Orchestrierungstool.
  • Erfahrung in der Optimierung komplexer analytischer SQL-Workloads.
  • Erfahrung mit der Anwendung von CI/CD-Praktiken auf Datenplattformen.
  • Ausgeprägte Fähigkeiten in der Fehlerbehebung und Leistungsoptimierung.
  • Fähigkeit zur effektiven Zusammenarbeit mit funktionsübergreifenden, internationalen Teams.
  • Englischkenntnisse auf mindestens oberem Mittelstufenniveau.

Zusatzleistungen

  • Remote-Arbeit ist für Mitarbeitende möglich.
  • Möglichkeiten zur kontinuierlichen Weiterbildung.
  • Möglichkeiten, sich mit Technologien weiterzuentwickeln.
  • Sinnstiftende Wirkung durch Engineering-Arbeit.
  • Mitarbeit an komplexen internationalen Projekten.

Ähnliche Stellen

Intetics

ML Data Engineer (m/w/d), Remote in Rumänien

Intetics
501 – 1.000 Mitarbeitende
BeratungGesundheitswesenLogistik

Entwickle Echtzeit-, Graph- und Zeitreihendateninfrastrukturen für die Leistungsdaten von Athletinnen und Athleten. Unterstütze die Bewertung von Machine-Learning-Modellen und KI-Systeme für einen US-amerikanischen Kunden von Intetics.

Öffnen
AllCloud

Data Engineer mit Hebräischkenntnissen

AllCloud

Entwickle AWS-Lakehouse-Plattformen, Datenpipelines und KI-Lösungen für Cloud-Beratungskunden von AllCloud. Entwirf skalierbare Architekturen und unterstütze Kunden bei der Modernisierung ihrer Datensysteme.

Öffnen