A Itix é uma empresa brasileira de tecnologia e consultoria que ajuda organizações a modernizar suas operações por meio de plataformas de software personalizadas, equipes de desenvolvimento dedicadas e consultoria em tecnologia. Seus serviços também incluem suporte e análise ou inteligência de negócios, permitindo que clientes empresariais aprimorem seus processos e utilizem os dados de forma mais eficaz. A Itix trabalha com organizações de setores como indústria, finanças, saúde, logística, seguros, energia, indústria química e mineração, com o apoio de equipes distribuídas por todo o Brasil.
Engenheiro(a) de Dados de Nível Pleno na Itix (Remoto, Brasil)
Junte-se à Itix como Engenheiro(a) de Dados para criar pipelines de Lakehouse e soluções RAG. Trabalhe com Databricks, Delta Lake, embeddings, qualidade e governança de dados.
Descrição
- Criar pipelines ETL/ELT no Databricks ou em frameworks de código aberto dentro de uma arquitetura medallion do Delta Lake
- Processar e padronizar dados de PDFs e imagens com os metadados associados
- Fazer a curadoria e anonimizar dados de acordo com a LGPD para RAG, aprendizado few-shot e conjuntos de dados de teste
- Desenvolver e manter índices vetoriais com chunking, embeddings, atualizações incrementais e controle de versão
- Criar conjuntos de dados dourados versionados para medir a precisão e realizar benchmarking
- Projetar a persistência de loops de feedback e fornecer dados ao Dashboard de Qualidade e SLA
- Conectar bancos de dados a serviços de inferência e APIs externas, gerenciando desempenho, custos, monitoramento e alertas
- Automatizar fluxos de trabalho por meio de Jobs, pipelines de CI/CD e testes de qualidade de dados
Requisitos
- Proficiência avançada em Python e SQL
- Experiência com modelagem de dados e arquiteturas medallion ou Lakehouse
- Experiência na criação de pipelines de dados não estruturados para PDFs, imagens e textos, incluindo preparação para RAG
- Familiaridade com bancos de dados vetoriais e embeddings, como Databricks Vector Search ou pgvector
- Experiência com qualidade de dados, testes e controle de versão
- Experiência prática com Databricks, Delta Lake, Workflows ou Jobs, notebooks, PySpark e Spark SQL
- Experiência com Git e CI/CD
- Experiência trabalhando com Azure, AWS ou GCP
- Conhecimento da LGPD e do tratamento de dados sensíveis
- Experiência com Unity Catalog em um ambiente governado
- Experiência com MLflow, Databricks Model Serving ou Mosaic AI
- Experiência com Delta Live Tables ou Lakeflow e Auto Loader
- Experiência em seguros ou serviços financeiros
- Experiência com Terraform ou Databricks Asset Bundles
- Certificação Databricks Data Engineer Associate ou Professional
Benefícios
- Flexibilidade geográfica para trabalhar do local que melhor atenda ao projeto
- Parcerias com descontos
- Programa de indicação de funcionários com recompensas
- Folga no dia do aniversário
- Acesso ao TotalPass ou Gympass
- Iniciativas de saúde e bem-estar
- Acesso a espaços de relaxamento no escritório com pufes, mesa de sinuca, videogames, lounge, cozinha totalmente equipada e café