Itix je brazílska technologická a poradenská spoločnosť, ktorá pomáha organizáciám modernizovať prevádzku prostredníctvom softvérových platforiem na mieru, špecializovaných vývojových tímov a technologického poradenstva. Jej služby zahŕňajú aj podporu, analytiku a business intelligence, vďaka čomu môžu firemní zákazníci zlepšovať procesy a efektívnejšie využívať dáta. Itix spolupracuje s organizáciami v odvetviach, ako sú priemysel, financie, zdravotníctvo, logistika, poisťovníctvo, energetika, chemický priemysel a baníctvo, pričom ju podporujú distribuované tímy po celej Brazílii.
Dátový inžinier strednej úrovne v Itix (práca na diaľku, Brazília)
Pridajte sa k spoločnosti Itix ako dátový inžinier a budujte Lakehouse pipeline a riešenia RAG. Budete pracovať s nástrojmi Databricks, Delta Lake, embeddingmi, kvalitou dát a správou dát.
Popis
- Budujte ETL/ELT pipeline v Databricks alebo open-source frameworkoch v rámci medailónovej architektúry Delta Lake
- Spracúvajte a štandardizujte údaje z PDF a obrázkov spolu so súvisiacimi metadátami
- Kódujte a anonymizujte údaje podľa brazílskeho zákona LGPD pre RAG, few-shot učenie a testovacie datasety
- Vyvíjajte a udržiavajte vektorové indexy s delením na časti, embeddingmi, inkrementálnymi aktualizáciami a správou verzií
- Vytvárajte verzované zlaté datasety na meranie presnosti a benchmarkové testovanie
- Navrhujte ukladanie spätnej väzby a dodávajte dáta do dashboardu kvality a SLA
- Prepájajte databázy s inferenčnými službami a externými API a zároveň spravujte výkon, náklady, monitorovanie a upozornenia
- Automatizujte pracovné postupy pomocou Jobs, CI/CD pipeline a testovania kvality dát
Požiadavky
- Pokročilá znalosť Pythonu a SQL
- Skúsenosti s dátovým modelovaním a medailónovou alebo Lakehouse architektúrou
- Skúsenosti s vytváraním pipeline pre neštruktúrované údaje z PDF, obrázkov a textu vrátane prípravy na RAG
- Znalosť vektorových databáz a embeddingov, napríklad Databricks Vector Search alebo pgvector
- Skúsenosti s kvalitou dát, testovaním a správou verzií
- Praktické skúsenosti s Databricks, Delta Lake, Workflows alebo Jobs, notebookmi, PySpark a Spark SQL
- Skúsenosti s Gitom a CI/CD
- Skúsenosti s prácou v Azure, AWS alebo GCP
- Znalosť LGPD a spracovania citlivých údajov
- Skúsenosti s Unity Catalog v riadenom prostredí
- Skúsenosti s MLflow, Databricks Model Serving alebo Mosaic AI
- Skúsenosti s Delta Live Tables alebo Lakeflow a Auto Loader
- Skúsenosti v poisťovníctve alebo finančných službách
- Skúsenosti s Terraformom alebo Databricks Asset Bundles
- Certifikácia Databricks Data Engineer Associate alebo Professional
Benefity
- Geografická flexibilita umožňujúca pracovať z miesta, ktoré najlepšie vyhovuje projektu
- Partnerské zľavy
- Odmeňovaný program odporúčaní zamestnancov
- Voľno v deň narodenín
- Prístup k TotalPass alebo Gympass
- Iniciatívy zamerané na zdravie a pohodu
- Prístup k relaxačným priestorom v kancelárii s vakmi na sedenie, biliardovým stolom, videohrami, salónikom, plne vybavenou kuchyňou a kávou