Az Itix brazil technológiai és tanácsadó vállalat, amely egyedi szoftverplatformokkal, dedikált fejlesztői csapatokkal és technológiai tanácsadással segíti a szervezetek működésének korszerűsítését. Szolgáltatásai támogatást, valamint elemzési és üzletiintelligencia-megoldásokat is magukban foglalnak, lehetővé téve a vállalati ügyfelek számára folyamataik fejlesztését és az adatok hatékonyabb felhasználását. Az Itix Brazília-szerte működő, elosztott csapatokkal dolgozik az ipar, a pénzügy, az egészségügy, a logisztika, a biztosítás, az energiaipar, a vegyipar és a bányászat területén tevékenykedő szervezetekkel.
Középszintű adatmérnök az Itixnél (távmunka, Brazília)
Csatlakozzon az Itixhez adatmérnökként Lakehouse-adatfolyamatok és RAG-megoldások fejlesztéséhez. Databricks, Delta Lake, beágyazások, adatminőség és adatirányítás területén dolgozhat.
Leírás
- ETL/ELT-adatfolyamatok létrehozása Databricksben vagy nyílt forráskódú keretrendszerekben, Delta Lake medáliarchitektúrában
- PDF- és képadatok feldolgozása és szabványosítása a kapcsolódó metaadatokkal együtt
- Adatok válogatása és anonimizálása Brazília LGPD-előírásai szerint RAG-, few-shot tanulási és tesztadatkészletekhez
- Vektorindexek fejlesztése és karbantartása darabolással, beágyazásokkal, inkrementális frissítésekkel és verziókezeléssel
- Verziózott aranyadatkészletek létrehozása a pontosság méréséhez és összehasonlító teszteléshez
- A visszacsatolási hurok adatainak tartós tárolásának megtervezése és adatok biztosítása a minőségi és SLA-irányítópulthoz
- Adatbázisok összekapcsolása inferenciaszolgáltatásokkal és külső API-kkal, miközben a teljesítmény, a költségek, a felügyelet és a riasztások kezelése is megtörténik
- Munkafolyamatok automatizálása Jobokkal, CI/CD-folyamatokkal és adatminőség-teszteléssel
Követelmények
- Haladó szintű Python- és SQL-ismeretek
- Adatmodellezési, valamint medália- vagy Lakehouse-architektúrákkal kapcsolatos tapasztalat
- Strukturálatlan adatfolyamatok fejlesztésében szerzett tapasztalat PDF-ekhez, képekhez és szövegekhez, beleértve a RAG-hoz szükséges előkészítést
- Vektortárakkal és beágyazásokkal, például a Databricks Vector Search-csel vagy a pgvectorral kapcsolatos ismeretek
- Adatminőségi, tesztelési és verziókezelési tapasztalat
- Gyakorlati Databricks-tapasztalat a Delta Lake, a Workflows vagy Jobs, a notebookok, a PySpark és a Spark SQL használatában
- Git- és CI/CD-tapasztalat
- Azure-, AWS- vagy GCP-környezetben szerzett tapasztalat
- Az LGPD és az érzékeny adatok kezelésének ismerete
- Unity Catalog-tapasztalat szabályozott környezetben
- MLflow, Databricks Model Serving vagy Mosaic AI tapasztalat
- Delta Live Tables vagy Lakeflow és Auto Loader tapasztalat
- Biztosítási vagy pénzügyi szolgáltatási tapasztalat
- Terraform vagy Databricks Asset Bundles tapasztalat
- Databricks Data Engineer Associate vagy Professional tanúsítvány
Juttatások
- Földrajzi rugalmasság: a projekthez leginkább megfelelő helyszínről dolgozhat
- Kedvezményes partneri megállapodások
- Jutalmazott munkavállalói ajánlási program
- Szabadnap a születésnapján
- TotalPass- vagy Gympass-hozzáférés
- Egészség- és jólléti kezdeményezések
- Hozzáférés az irodai pihenőterekhez, ahol babzsákok, biliárdasztal, videojátékok, társalgó, teljesen felszerelt konyha és kávé áll rendelkezésre