Itix es una empresa brasileña de tecnología y consultoría que ayuda a las organizaciones a modernizar sus operaciones mediante plataformas de software a medida, equipos de desarrollo dedicados y consultoría tecnológica. Sus servicios también incluyen soporte y análisis o inteligencia empresarial, lo que permite a sus clientes empresariales mejorar sus procesos y utilizar los datos de forma más eficaz. Itix trabaja con organizaciones de sectores como la industria, las finanzas, la salud, la logística, los seguros, la energía, la industria química y la minería, con el respaldo de equipos distribuidos por todo Brasil.
Ingeniero/a de Datos de Nivel Intermedio en Itix (Remoto, Brasil)
Únete a Itix como Ingeniero/a de Datos para crear pipelines de Lakehouse y soluciones RAG. Trabajarás con Databricks, Delta Lake, embeddings, calidad y gobierno de datos.
Descripción
- Crear pipelines ETL/ELT en Databricks o frameworks de código abierto dentro de una arquitectura medallion de Delta Lake
- Procesar y estandarizar datos de PDF e imágenes con sus metadatos asociados
- Seleccionar y anonimizar datos conforme a la LGPD de Brasil para RAG, aprendizaje few-shot y conjuntos de datos de prueba
- Desarrollar y mantener índices vectoriales con chunking, embeddings, actualizaciones incrementales y control de versiones
- Crear conjuntos de datos dorados versionados para medir la precisión y realizar benchmarking
- Diseñar la persistencia de bucles de feedback y proporcionar datos al panel de Calidad y SLA
- Conectar bases de datos con servicios de inferencia y API externas, gestionando el rendimiento, los costes, la monitorización y las alertas
- Automatizar flujos de trabajo mediante Jobs, pipelines de CI/CD y pruebas de calidad de datos
Requisitos
- Dominio avanzado de Python y SQL
- Experiencia con modelado de datos y arquitecturas medallion o Lakehouse
- Experiencia creando pipelines de datos no estructurados para PDF, imágenes y texto, incluida su preparación para RAG
- Familiaridad con bases de datos vectoriales y embeddings, como Databricks Vector Search o pgvector
- Experiencia con calidad de datos, pruebas y control de versiones
- Experiencia práctica con Databricks, Delta Lake, Workflows o Jobs, notebooks, PySpark y Spark SQL
- Experiencia con Git y CI/CD
- Experiencia trabajando con Azure, AWS o GCP
- Conocimientos de la LGPD y del tratamiento de datos sensibles
- Experiencia con Unity Catalog en un entorno gobernado
- Experiencia con MLflow, Databricks Model Serving o Mosaic AI
- Experiencia con Delta Live Tables o Lakeflow y Auto Loader
- Experiencia en seguros o servicios financieros
- Experiencia con Terraform o Databricks Asset Bundles
- Certificación Databricks Data Engineer Associate o Professional
Beneficios
- Flexibilidad geográfica para trabajar desde la ubicación que mejor se adapte al proyecto
- Alianzas con empresas para obtener descuentos
- Programa de referidos para empleados con recompensas
- Día libre por cumpleaños
- Acceso a TotalPass o Gympass
- Iniciativas de salud y bienestar
- Acceso a espacios de relajación en la oficina con pufs, mesa de billar, videojuegos, sala de descanso, cocina totalmente equipada y café