Itix je brazilská technologická a konzultační společnost, která pomáhá organizacím modernizovat provoz prostřednictvím softwarových platforem na míru, specializovaných vývojových týmů a technologického poradenství. Mezi její služby patří také podpora, analytika a business intelligence, které podnikovým zákazníkům umožňují zlepšovat procesy a efektivněji využívat data. Itix spolupracuje s organizacemi v odvětvích, jako jsou průmysl, finance, zdravotnictví, logistika, pojišťovnictví, energetika, chemický průmysl a těžební průmysl, a opírá se o distribuované týmy působící po celé Brazílii.
Datový inženýr střední úrovně v Itix (práce na dálku, Brazílie)
Připojte se k Itix jako datový inženýr a vytvářejte pipeline Lakehouse a řešení RAG. Pracujte s Databricks, Delta Lake, embeddingy, kvalitou dat a správou dat.
Popis
- Vytvářet ETL/ELT pipeline v Databricks nebo open-source frameworkách v rámci medailonové architektury Delta Lake
- Zpracovávat a standardizovat data z PDF souborů a obrázků včetně souvisejících metadat
- Spravovat a anonymizovat data podle brazilského zákona LGPD pro RAG, few-shot učení a testovací datové sady
- Vyvíjet a udržovat vektorové indexy s dělením na části, embeddingy, inkrementálními aktualizacemi a správou verzí
- Vytvářet verzované zlaté datové sady pro měření přesnosti a benchmarking
- Navrhovat ukládání dat ze zpětnovazebních smyček a dodávat data do panelu kvality a SLA
- Propojovat databáze s inferenčními službami a externími API a řídit výkon, náklady, monitorování a upozornění
- Automatizovat pracovní postupy pomocí Jobs, CI/CD pipeline a testování kvality dat
Požadavky
- Pokročilá znalost Pythonu a SQL
- Zkušenost s datovým modelováním a medailonovými architekturami nebo architekturami Lakehouse
- Zkušenost s budováním pipeline pro nestrukturovaná data z PDF souborů, obrázků a textu včetně přípravy pro RAG
- Znalost vektorových databází a embeddingů, jako jsou Databricks Vector Search nebo pgvector
- Zkušenost s kvalitou dat, testováním a správou verzí
- Praktická zkušenost s Databricks, Delta Lake, Workflows nebo Jobs, notebooky, PySparkem a Spark SQL
- Zkušenost s Gitem a CI/CD
- Zkušenost s Azure, AWS nebo GCP
- Znalost LGPD a zpracování citlivých dat
- Zkušenost s Unity Catalog v řízeném prostředí
- Zkušenost s MLflow, Databricks Model Serving nebo Mosaic AI
- Zkušenost s Delta Live Tables nebo Lakeflow a Auto Loader
- Zkušenost v pojišťovnictví nebo finančních službách
- Zkušenost s Terraformem nebo Databricks Asset Bundles
- Certifikace Databricks Data Engineer Associate nebo Professional
Benefity
- Geografická flexibilita: možnost pracovat z místa, které nejlépe vyhovuje projektu
- Partnerské slevy
- Odměňovaný zaměstnanecký referral program
- Volno v den narozenin
- Přístup k TotalPass nebo Gympass
- Iniciativy v oblasti zdraví a well-beingu
- Přístup k odpočinkovým zónám v kanceláři s beanbagy, kulečníkovým stolem, videohrami, lounge zónou, plně vybavenou kuchyní a kávou