Itix je brazilsko tehnološko in svetovalno podjetje, ki organizacijam pomaga posodobiti poslovanje s programske platformami po meri, namenskimi razvojnimi ekipami ter tehnološkim svetovanjem. Njegove storitve vključujejo tudi podporo, analitiko in poslovno obveščanje, kar poslovnim strankam omogoča izboljšanje procesov in učinkovitejšo uporabo podatkov. Itix sodeluje z organizacijami na področjih industrije, financ, zdravstva, logistike, zavarovalništva, energetike, kemijske industrije in rudarstva, pri čemer ga podpirajo porazdeljene ekipe po vsej Braziliji.
Podatkovni inženir srednje ravni pri podjetju Itix (delo na daljavo, Brazilija)
Pridružite se podjetju Itix kot podatkovni inženir ter gradite Lakehouse cevovode in rešitve RAG. Delali boste z orodji Databricks in Delta Lake ter na področjih vdelav, kakovosti podatkov in upravljanja podatkov.
Opis
- Gradite cevovode ETL/ELT v Databricksu ali odprtokodnih ogrodjih znotraj medallion arhitekture Delta Lake
- Obdelujte in standardizirajte podatke iz datotek PDF in slik skupaj s povezanimi metapodatki
- Urejajte in anonimizirajte podatke v skladu z brazilsko zakonodajo LGPD za RAG, učenje few-shot in testne nabore podatkov
- Razvijajte in vzdržujte vektorske indekse z razčlenjevanjem, vdelavami, inkrementalnimi posodobitvami in nadzorom različic
- Ustvarjajte različicno vodene zlate nabore podatkov za merjenje natančnosti in primerjalno testiranje
- Načrtujte shranjevanje povratnih informacij in zagotavljajte podatke za nadzorno ploščo kakovosti in SLA
- Povezujte podatkovne zbirke z inferenčnimi storitvami in zunanjimi API-ji ter upravljajte zmogljivost, stroške, spremljanje in opozorila
- Avtomatizirajte delovne tokove z orodji Jobs, cevovodi CI/CD in testiranjem kakovosti podatkov
Zahteve
- Napredno znanje Pythona in SQL-a
- Izkušnje z modeliranjem podatkov ter medallion ali Lakehouse arhitekturami
- Izkušnje z gradnjo cevovodov za nestrukturirane podatke iz datotek PDF, slik in besedila, vključno s pripravo za RAG
- Poznavanje vektorskih podatkovnih baz in vdelav, kot sta Databricks Vector Search ali pgvector
- Izkušnje s kakovostjo podatkov, testiranjem in nadzorom različic
- Praktične izkušnje z Databricksom, Delta Lakeom, Workflows ali Jobs, beležnicami, PySparkom in Spark SQL
- Izkušnje z Gitom in CI/CD
- Izkušnje z delom v okolju Azure, AWS ali GCP
- Poznavanje zakonodaje LGPD in ravnanja z občutljivimi podatki
- Izkušnje z Unity Catalogom v upravljanem okolju
- Izkušnje z MLflow, Databricks Model Serving ali Mosaic AI
- Izkušnje z Delta Live Tables ali Lakeflow in Auto Loader
- Izkušnje v zavarovalništvu ali finančnih storitvah
- Izkušnje s Terraformom ali Databricks Asset Bundles
- Certifikat Databricks Data Engineer Associate ali Professional
Ugodnosti
- Geografska prilagodljivost za delo z lokacije, ki najbolj ustreza projektu
- Partnerski popusti
- Nagrajevalni program priporočil zaposlenih
- Prost dan za rojstni dan
- Dostop do storitve TotalPass ali Gympass
- Pobude za zdravje in dobro počutje
- Dostop do pisarniških prostorov za sprostitev z vrečami za sedenje, biljardno mizo, videoigrami, dnevnim prostorom, popolnoma opremljeno kuhinjo in kavo