Instituto de Pesquisas Eldorado es un instituto brasileño de investigación y desarrollo fundado en 1999 que ayuda a las organizaciones a convertir iniciativas tecnológicas en productos probados e innovación práctica. Su trabajo incluye la certificación de productos de telecomunicaciones, ensayos de laboratorio y consultoría en innovación para sectores como la automoción, la salud, la logística, la agricultura, la energía y el petróleo y gas. El instituto también desarrolla programas de formación y educación, y colabora con socios industriales y de investigación para ampliar las capacidades tecnológicas.
Analista de datos – PySpark, SQL y Power BI
Crea canalizaciones de datos, modelos y paneles para el centro brasileño de I+D del Instituto de Pesquisas Eldorado. Trabaja con PySpark, SQL, Databricks y Power BI.
Descripción
- Crea e implementa canalizaciones de ingesta mediante API REST, extracción web, procedimientos SQL heredados y archivos
- Ayuda a implementar la replicación de solo lectura para sistemas sin acceso directo a bases de datos, teniendo en cuenta el impacto en el rendimiento
- Transforma datos con PySpark y SQL
- Ayuda a evaluar los costos y el rendimiento del procesamiento y a dimensionar los recursos de forma eficiente
- Ayuda a crear capas de datos Bronze, Silver y Gold con la arquitectura medallón
- Crea canalizaciones de extracción web resilientes, con detección de cambios de diseño y medidas para mitigar bloqueos
- Elimina duplicados, normaliza los datos y comprueba su calidad
- Ayuda a implementar contratos de datos y alertas de cambios de esquema para integraciones de terceros
- Crea paneles e informes en Power BI
- Convierte las necesidades del negocio en modelos de datos y visualizaciones claras
- Aplica seguridad a nivel de fila (RLS) en los informes conforme a las políticas de control de acceso basado en roles (RBAC)
- Crea pruebas de calidad de datos y transformaciones declarativas con dbt
- Ayuda a configurar funciones de analítica de autoservicio, incluido Fabric Copilot
- Colabora con los equipos de gobierno de datos para mantener el linaje y la clasificación
- Detecta y corrige problemas de rendimiento en canalizaciones y consultas
- Realiza pruebas de aceptación de usuario y mejora los paneles a partir de los comentarios
Requisitos
- Título universitario en Ciencias de la Computación, Ingeniería Informática, Análisis de Sistemas o un campo relacionado
- Experiencia de nivel intermedio en ingeniería de datos, Python o PySpark y SQL
- Familiaridad con Databricks o Spark
- Familiaridad con herramientas de orquestación como Azure Data Factory
- Familiaridad con formatos de datos analíticos como Parquet y Delta Lake
- Se valoran conocimientos de dbt
- Familiaridad con Git y CI/CD para canalizaciones de datos
- Experiencia en integración de datos mediante API REST
- Conocimientos de prácticas de visualización de datos y comunicación narrativa con datos
- Experiencia trabajando con diversas fuentes de datos, como SQL, API, archivos, Lakehouse y Warehouse
- Experiencia implementando seguridad a nivel de fila (RLS)
- Se valora la disponibilidad para viajar a São Paulo
- Se valora un nivel avanzado de inglés
Beneficios
- Igualdad de oportunidades para todas las personas candidatas
- Un entorno laboral diverso e inclusivo
- Abierto a personas con discapacidad
- Modalidad de trabajo híbrida
- Oportunidades para adquirir experiencia y contribuir a proyectos relevantes
- Acceso a la infraestructura de laboratorio y a los proyectos de I+D de la organización