Itix on brasilialainen teknologia- ja konsultointiyritys, joka auttaa organisaatioita nykyaikaistamaan toimintaansa räätälöityjen ohjelmistoalustojen, omistautuneiden kehitystiimien ja teknologiakonsultoinnin avulla. Sen palveluihin kuuluvat myös tuki sekä analytiikka ja liiketoimintatiedon hallinta, joiden avulla yritysasiakkaat voivat tehostaa prosessejaan ja hyödyntää dataa tehokkaammin. Itix työskentelee muun muassa teollisuuden, rahoituksen, terveydenhuollon, logistiikan, vakuutusalan, energia-alan, kemianteollisuuden ja kaivostoiminnan organisaatioiden kanssa Brasiliassa toimivien hajautettujen tiimien tukemana.
Keskitason data-insinööri Itixillä (etätyö, Brasilia)
Liity Itixin data-insinööriksi rakentamaan Lakehouse-putkia ja RAG-ratkaisuja. Työskentelet Databricksin, Delta Laken, upotusten, datan laadun ja hallinnan parissa.
Kuvaus
- Rakenna ETL/ELT-putkia Databricksilla tai avoimen lähdekoodin kehyksillä Delta Laken medallion-arkkitehtuurissa
- Käsittele ja standardoi PDF- ja kuvatietoja niihin liittyvine metatietoineen
- Kuratoi ja anonymisoi tietoja Brasilian LGPD-lain mukaisesti RAG:ia, few-shot-oppimista ja testiaineistoja varten
- Kehitä ja ylläpidä vektori-indeksejä, mukaan lukien pilkkominen, upotukset, inkrementaaliset päivitykset ja versionhallinta
- Luo versioituja kultadatoja tarkkuuden mittaamista ja vertailuanalyysejä varten
- Suunnittele palautesilmukan tietojen tallennus ja toimita dataa laadun ja SLA-tason hallintapaneeliin
- Yhdistä tietokantoja päättelypalveluihin ja ulkoisiin rajapintoihin halliten suorituskykyä, kustannuksia, valvontaa ja hälytyksiä
- Automatisoi työnkulkuja Jobseilla, CI/CD-putkilla ja datan laadun testauksella
Vaatimukset
- Pythonin ja SQL:n edistynyt osaaminen
- Kokemusta tietomallinnuksesta sekä medallion- tai Lakehouse-arkkitehtuureista
- Kokemusta jäsentämättömän datan putkista PDF-, kuva- ja tekstitiedostoille, mukaan lukien valmistelu RAG:ia varten
- Vektoritietokantojen ja esimerkiksi Databricks Vector Searchin tai pgvectorin kaltaisten upotusten tuntemus
- Kokemusta datan laadusta, testauksesta ja versionhallinnasta
- Käytännön kokemusta Databricksista, Delta Lakesta, Workflows- tai Jobs-toiminnoista, muistikirjoista, PySparkista ja Spark SQL:stä
- Kokemusta Gitistä ja CI/CD:stä
- Kokemusta Azure-, AWS- tai GCP-ympäristöissä työskentelystä
- LGPD:n ja arkaluonteisten tietojen käsittelyn tuntemus
- Unity Catalog -kokemusta hallitussa ympäristössä
- Kokemusta MLflow’sta, Databricks Model Servingistä tai Mosaic AI:sta
- Kokemusta Delta Live Tablesista tai Lakeflow’sta ja Auto Loaderista
- Kokemusta vakuutus- tai rahoituspalvelualalta
- Kokemusta Terraformista tai Databricks Asset Bundlesista
- Databricks Data Engineer Associate- tai Professional-sertifiointi
Edut
- Maantieteellinen joustavuus työskennellä projektin kannalta parhaiten sopivasta sijainnista
- Alennuskumppanuudet
- Palkitseva työntekijöiden suositteluohjelma
- Vapaapäivä syntymäpäivänä
- TotalPass- tai Gympass-jäsenyys
- Terveyttä ja hyvinvointia tukevat aloitteet
- Pääsy toimiston rentoutumistiloihin, joissa on säkkituoleja, biljardipöytä, videopelejä, oleskelutila, täysin varusteltu keittiö ja kahvia