Imaginary Cloud, SaaS, B2B ve daha geniş kapsamlı yazılım geliştirme projelerinde çalışan bir yazılım geliştirme ve UX/UI tasarım şirketidir. Ekipleri 2010'dan bu yana 300'den fazla web ve mobil uygulama tasarladı, geliştirdi, kullanıma sundu ve ölçeklendirdi. Portekiz ve Birleşik Krallık'taki ofisleriyle şirket, ürün geliştirmeyi teknolojiye insan odaklı bir yaklaşımla birleştirir ve saygı, özen ve sürekli öğrenme üzerine kurulu bir çalışma ortamını destekler. Imaginary Cloud ayrıca tasarım ve mühendislik alanlarında dijital ürünlere katkıda bulunmak isteyenlere uzaktan çalışma fırsatları sunar.
Senior Data Engineer – Databricks és PySpark
Databricks- és PySpark-alapú adatfeldolgozási feladatokat építesz az Imaginary Cloud digitális termékeihez. Globális ügyfelek analitikai adatfolyamait fejleszted egy portugáliai, hibrid munkakörben.
Açıklama
- Databricks-adatfeldolgozási feladatok kiépítése és kezelése
- Adatmérnöki megoldások fejlesztése PySpark és Delta Lake használatával
- SQL-lekérdezések írása és optimalizálása, beleértve az ablakfüggvényeket és az összetett összekapcsolásokat
- Streaming vagy inkrementális adatbetöltési folyamatok létrehozása
- Idempotencia, ellenőrzőpontok és sémaváltozási minták alkalmazása
- Adatok modellezése üzleti intelligenciához és analitikához
- Adatok és kód tesztelése pipeline-elvárásokkal, dbt-tesztekkel vagy hasonló eszközökkel
- Git, kódellenőrzés, linterek, egységtesztek és CI/CD-folyamatok használata
- Agentikus MI-eszközök használata a fejlesztés, a refaktorálás és az összetett hibakeresés felgyorsítására
- Együttműködés mérnöki és termékfejlesztő csapatokkal
- Közreműködés globális ügyfelek digitális termékeiben, multidiszciplináris csapatokban
Gereksinimler
- Legalább öt év tapasztalat adatmérnöki vagy szorosan kapcsolódó munkakörben
- Felsőfokú végzettség informatikai, adatmérnöki, adattudományi vagy kapcsolódó kvantitatív területen
- Gyakorlati, éles környezetben szerzett Databricks-tapasztalat
- Jelentős tapasztalat Databricks-alapú adatfeldolgozási feladatok építésében
- A PySpark és a Delta Lake alapos ismerete
- Magabiztos SQL-tudás, beleértve az ablakfüggvényeket, az összetett összekapcsolásokat és a lekérdezések optimalizálását
- Tapasztalat streaming vagy inkrementális adatbetöltésben, többek között Structured Streaming vagy Auto Loader használatával, valamint idempotencia-, ellenőrzőpont- és sémaváltozási mintákkal
- Tapasztalat BI- és analitikai adatmodellezésben
- A Databricks-munkafolyamatok tesztelésének és CI/CD-jének ismerete
- A szoftverfejlesztés és a DevOps alapelveinek ismerete, beleértve a Gitet, a kódellenőrzést, a lintereket, az egységteszteket és a CI/CD-folyamatokat
- Adatminőség tesztelése pipeline-elvárásokkal, dbt-tesztekkel vagy hasonló módszerekkel
- Az agentikus MI-eszközök, például a Cursor IDE és a GitHub Copilot magas szintű ismerete
- Erős elemző- és problémamegoldó készség
- Tapasztalat mérnöki és termékfejlesztő csapatokkal való együttműködésben
- Folyékony angol nyelvtudás szóban és írásban
- Portugáliában él, vagy hajlandó és jogosult ott élni és dolgozni
Yan Haklar
- Tapasztalathoz és teljesítményhez igazodó fizetés
- Fizetett betegszabadság
- Egészség- és fogászati biztosítás
- A kényelmet szolgáló keretösszeg
- Elsősorban távoli munkavégzésre épülő vállalat
- Rugalmas munkaidő
- Projektek globális, iparágukban vezető ügyfelekkel
- Emberközpontú kultúra, amely értékeli és támogatja a csapatot
- Kötetlen munkakörnyezet
- Csapatrendezvények a tudás megosztására és a közös ünneplésre
- Mentorálás és teljesítményértékelések a szakmai fejlődés támogatására