Imaginary Cloud is een bedrijf voor softwareontwikkeling en UX/UI-ontwerp dat actief is op het gebied van SaaS, B2B en bredere softwareontwikkelingsprojecten. Sinds 2010 hebben de teams meer dan 300 web- en mobiele applicaties ontworpen, gebouwd, gelanceerd en opgeschaald. Met kantoren in Portugal en het Verenigd Koninkrijk combineert het bedrijf productontwikkeling met een mensgerichte benadering van technologie en stimuleert het een werkomgeving die draait om respect, zorg en voortdurend leren. Imaginary Cloud biedt ook mogelijkheden voor werken op afstand aan mensen die willen bijdragen aan digitale producten binnen design en engineering.
Senior Data Engineer – Databricks en PySpark
Bouw Databricks- en PySpark-dataworkloads voor de digitale producten van Imaginary Cloud. Verbeter analysepipelines voor internationale klanten in een hybride functie vanuit Portugal.
Beschrijving
- Bouw en beheer dataworkloads in Databricks
- Ontwikkel data-engineeringoplossingen met PySpark en Delta Lake
- Schrijf en optimaliseer SQL-query's, waaronder windowfuncties en complexe joins
- Maak streaming- of incrementele data-ingestiepipelines
- Pas patronen toe voor idempotentie, checkpointing en schema-evolutie
- Modelleer data voor business intelligence en analytics
- Test data en code met pipelineverwachtingen, dbt-tests of vergelijkbare tools
- Werk met Git, code reviews, linters, unittests en CI/CD-pipelines
- Gebruik agentische AI-tools om ontwikkeling, refactoring en complexe debugging te versnellen
- Werk samen met engineering- en productontwikkelingsteams
- Draag in multidisciplinaire teams bij aan digitale producten voor internationale klanten
Vereisten
- Je hebt minstens vijf jaar ervaring in data-engineering of een nauw verwante functie
- Je hebt een academische achtergrond in informatica, data-engineering, data science of een verwant kwantitatief vakgebied
- Je hebt praktische productie-ervaring met Databricks
- Je hebt ruime ervaring met het bouwen van dataworkloads in Databricks
- Je hebt grondige kennis van PySpark en Delta Lake
- Je beheerst SQL goed, waaronder windowfuncties, complexe joins en query-optimalisatie
- Je hebt ervaring met streaming of incrementele ingestie, waaronder Structured Streaming of Auto Loader, en met patronen voor idempotentie, checkpointing en schema-evolutie
- Je hebt ervaring met datamodellering voor BI en analytics
- Je hebt inzicht in testen en CI/CD voor Databricks-workflows
- Je kent de basisprincipes van software-engineering en DevOps, waaronder Git, code reviews, linters, unittests en CI/CD-pipelines
- Je test de datakwaliteit met pipelineverwachtingen, dbt-tests of vergelijkbare methoden
- Je beheerst agentische AI-tools zoals Cursor IDE en GitHub Copilot uitstekend
- Je hebt sterke analytische vaardigheden en bent goed in problemen oplossen
- Je hebt ervaring met samenwerken met engineering- en productontwikkelingsteams
- Je spreekt en schrijft vloeiend Engels
- Je woont in Portugal of bent bereid en wettelijk bevoegd om daar te wonen en werken
Voordelen
- Salaris op basis van ervaring en prestaties
- Doorbetaalde ziektedagen
- Zorg- en tandartsverzekering
- Een budget voor comfort
- Een remote-firstbedrijf
- Flexibele werktijden
- Projecten voor internationale, toonaangevende klanten
- Een mensgerichte cultuur die het team waardeert en ruimte geeft
- Een informele werkomgeving
- Teamevenementen om kennis te delen en samen successen te vieren
- Mentoring en functioneringsgesprekken ter ondersteuning van je loopbaanontwikkeling