Itix on Brasiilia tehnoloogia- ja konsultatsiooniettevõte, mis aitab organisatsioonidel oma tegevust kaasajastada kohandatud tarkvaraplatvormide, pühendunud arendusmeeskondade ja tehnoloogiakonsultatsiooni abil. Ettevõtte teenuste hulka kuuluvad ka tugi ning analüütika ja ärianalüüs, mis võimaldavad äriklientidel protsesse tõhustada ja andmeid tulemuslikumalt kasutada. Itix teeb koostööd muu hulgas tööstus-, finants-, tervishoiu-, logistika-, kindlustus-, energia-, keemia- ja kaevandusvaldkonna organisatsioonidega, keda toetavad üle Brasiilia paiknevad hajutatud meeskonnad.
Kesktaseme andmeinsener Itixis (kaugtöö, Brasiilia)
Liitu Itixiga andmeinseneriks, et ehitada Lakehouse’i andmekonveiereid ja RAG-lahendusi. Töötad Databricksi, Delta Lake’i, manuste, andmekvaliteedi ja andmehaldusega.
Kirjeldus
- Loo ETL/ELT-konveiereid Databricksi või avatud lähtekoodiga raamistike abil Delta Lake’i medallioniarhitektuuris
- Töötle ja standardiseeri PDF- ja pildiandmeid koos seotud metaandmetega
- Kureeri ja anonümiseeri andmeid Brasiilia LGPD alusel RAG-i, few-shot-õppe ja testandmekogumite jaoks
- Arenda ja halda vektorindekseid, sealhulgas tükeldamist, manuseid, järkjärgulisi uuendusi ja versioonihaldust
- Loo versioonitud kuldandmekogumeid täpsuse mõõtmiseks ja võrdlusuuringuteks
- Kavanda tagasisideahela andmete püsimine ja edasta andmeid kvaliteedi- ja SLA-taseme juhtpaneelile
- Ühenda andmebaasid järeldusteenuste ja väliste API-dega, hallates jõudlust, kulusid, seiret ja hoiatusi
- Automatiseeri töövooge Jobside, CI/CD-konveierite ja andmekvaliteedi testimise abil
Nõuded
- Pythoni ja SQL-i kõrgtasemel oskus
- Kogemus andmemodelleerimise ning medallioni- või Lakehouse’i arhitektuuridega
- Kogemus struktureerimata andmete konveierite loomisel PDF-, pildi- ja tekstiandmete jaoks, sealhulgas RAG-i ettevalmistamisel
- Vektorandmebaaside ja selliste manuste nagu Databricks Vector Search või pgvector tundmine
- Kogemus andmekvaliteedi, testimise ja versioonihaldusega
- Praktiline Databricksi kogemus Delta Lake’i, Workflowsi või Jobside, märkmike, PySparki ja Spark SQL-iga
- Kogemus Giti ja CI/CD-ga
- Kogemus Azure’i, AWS-i või GCP-ga töötamisel
- LGPD ja tundlike andmete käsitlemise tundmine
- Unity Catalogi kogemus hallatud keskkonnas
- Kogemus MLflow’, Databricks Model Servingi või Mosaic AI-ga
- Kogemus Delta Live Tablesi või Lakeflow’ ja Auto Loaderiga
- Kogemus kindlustus- või finantsteenuste valdkonnas
- Kogemus Terraformi või Databricks Asset Bundlesiga
- Databricks Data Engineer Associate’i või Professionali sertifikaat
Hüved
- Geograafiline paindlikkus töötada asukohast, mis sobib projektiga kõige paremini
- Soodustuspartnerlused
- Töötajate soovitusprogramm, mille eest antakse preemiat
- Sünnipäevavaba päev
- TotalPassi või Gympassi kasutusõigus
- Tervise ja heaoluga seotud algatused
- Juurdepääs kontori puhkealadele, kus on kott-toolid, piljardilaud, videomängud, puhkenurk, täielikult varustatud köök ja kohv