Imaginary Cloud ist ein Unternehmen für Softwareentwicklung und UX/UI-Design, das in den Bereichen SaaS, B2B und allgemeiner Softwareentwicklung tätig ist. Seit 2010 haben die Teams mehr als 300 Web- und Mobile-Anwendungen konzipiert, entwickelt, eingeführt und skaliert. Mit Büros in Portugal und im Vereinigten Königreich verbindet das Unternehmen Produktentwicklung mit einem menschenzentrierten Technologieansatz und fördert einen Arbeitsplatz, der von Respekt, Fürsorge und kontinuierlichem Lernen geprägt ist. Imaginary Cloud bietet außerdem Möglichkeiten für Remote-Arbeit für Menschen, die an digitalen Produkten in den Bereichen Design und Engineering mitwirken möchten.
Senior Data Engineer – Databricks und PySpark
Entwickle Databricks- und PySpark-Datenworkloads für die digitalen Produkte von Imaginary Cloud. Optimiere Analysepipelines für globale Kunden in einer hybriden Position mit Standort Portugal.
Beschreibung
- Entwickle und verwalte Datenworkloads in Databricks
- Entwickle Data-Engineering-Lösungen mit PySpark und Delta Lake
- Schreibe und optimiere SQL-Abfragen, einschließlich Window-Funktionen und komplexer Joins
- Erstelle Streaming- oder inkrementelle Datenaufnahme-Pipelines
- Wende Muster für Idempotenz, Checkpointing und Schema-Evolution an
- Modelliere Daten für Business Intelligence und Analysen
- Teste Daten und Code mit Pipeline-Erwartungen, dbt-Tests oder ähnlichen Tools
- Nutze Git, Code-Reviews, Linter, Unit-Tests und CI/CD-Pipelines
- Nutze agentische KI-Tools, um Entwicklung, Refactoring und komplexes Debugging zu beschleunigen
- Arbeite mit Engineering- und Produktentwicklungsteams zusammen
- Wirke in multidisziplinären Teams an digitalen Produkten für globale Kunden mit
Anforderungen
- Du bringst mindestens fünf Jahre Erfahrung im Data Engineering oder in einer eng verwandten Position mit
- Du hast einen akademischen Hintergrund in Informatik, Data Engineering, Data Science oder einem verwandten quantitativen Fachgebiet
- Du hast praktische Produktionserfahrung mit Databricks
- Du verfügst über umfassende Erfahrung im Aufbau von Datenworkloads in Databricks
- Du hast fundierte Kenntnisse in PySpark und Delta Lake
- Du beherrschst SQL, einschließlich Window-Funktionen, komplexer Joins und Abfrageoptimierung
- Du hast Erfahrung mit Streaming oder inkrementeller Datenaufnahme, einschließlich Structured Streaming oder Auto Loader, sowie mit Mustern für Idempotenz, Checkpointing und Schema-Evolution
- Du hast Erfahrung in der Datenmodellierung für BI und Analysen
- Du verstehst Tests und CI/CD für Databricks-Workflows
- Du kennst die Grundlagen der Softwareentwicklung und von DevOps, darunter Git, Code-Reviews, Linter, Unit-Tests und CI/CD-Pipelines
- Du setzt Methoden zur Prüfung der Datenqualität ein, etwa Pipeline-Erwartungen, dbt-Tests oder ähnliche Verfahren
- Du beherrschst agentische KI-Tools wie Cursor IDE und GitHub Copilot sehr gut
- Du bringst ausgeprägte analytische Fähigkeiten und Problemlösungskompetenz mit
- Du hast Erfahrung in der Zusammenarbeit mit Engineering- und Produktentwicklungsteams
- Du sprichst und schreibst fließend Englisch
- Du lebst in Portugal oder bist bereit und rechtlich berechtigt, dort zu leben und zu arbeiten
Zusatzleistungen
- Gehalt abhängig von Erfahrung und Leistung
- Bezahlte Krankheitstage
- Kranken- und Zahnzusatzversicherung
- Budget für dein Wohlbefinden
- Remote-first-Unternehmen
- Flexible Arbeitszeiten
- Projekte mit globalen, branchenführenden Kunden
- Eine mitarbeiterorientierte Kultur, die das Team wertschätzt und stärkt
- Informelles Arbeitsumfeld
- Teamveranstaltungen zum Wissensaustausch und gemeinsamen Feiern
- Mentoring und Leistungsbeurteilungen zur Unterstützung deiner beruflichen Entwicklung