
Scicom Infrastructure Services es una empresa de consultoría y servicios tecnológicos que ayuda a organizaciones del sector público y privado a gestionar y mejorar sus entornos de TI. Su actividad abarca la gestión del rendimiento empresarial, la arquitectura, la gestión de proyectos, la gestión de infraestructuras y aplicaciones, y los servicios gestionados. También colabora con AppDynamics, BigPanda, Datadog y AWS en supervisión del rendimiento, correlación de eventos y automatización, supervisión de la nube y gestión de servicios de TI. Scicom ofrece asistencia operativa ininterrumpida para infraestructuras globales. Su perfil describe un equipo que trabaja en tecnología empresarial, SaaS y B2B; consulta las vacantes actuales para conocer los puestos y el proceso de contratación.
Ingeniero de datos de Databricks, contratos de datos OCDS
Conecta a las partes interesadas en contratación con los equipos de ingeniería para definir contratos de datos en un gran programa de Databricks. Desarrolla flujos de datos y controles alineados con OCDS para obtener datos de contratación fiables y estandarizados.
Descripción
- Conecta a los equipos de negocio, contratación, gobernanza e ingeniería en una gran implementación de Databricks.
- Dirige talleres de requisitos con partes interesadas de contratación pública, programas, analítica, gobernanza y áreas técnicas.
- Crea y mantiene contratos de datos que definen cómo intercambian datos los productores y consumidores.
- Convierte las necesidades del negocio en historias de usuario, criterios de aceptación, flujos de procesos, mapeos, especificaciones de interfaces y requisitos de ingeniería.
- Analiza los sistemas de origen, perfila los datos, evalúa las brechas y asigna los campos de origen a las estructuras de destino.
- Compara los datos de contratación actuales con las estructuras que exige OCDS.
- Facilita acuerdos entre responsables de datos, productores, consumidores, arquitectos y equipos de gobernanza.
- Realiza el seguimiento de los requisitos durante el modelado de datos, la implementación, las pruebas y la aceptación.
- Evalúa cómo afectan los cambios propuestos a los productos de datos, informes, integraciones y casos de uso analíticos.
- Ayuda a preparar y llevar a cabo revisiones del backlog, planificación de sprints, demostraciones, pruebas y aceptación de las partes interesadas.
- Aplica OCDS a los datos de contratación pública y contratos públicos, desde la planificación hasta la implementación.
- Mantiene los mapeos de versiones, registros, paquetes, identificadores, organizaciones, partes, artículos, hitos, documentos, transacciones, modificaciones y elementos relacionados de OCDS.
- Utiliza esquemas, listas de códigos, reglas de validación y guías de implementación de OCDS.
- Identifica cuándo se necesitan extensiones de OCDS y documenta los supuestos, reglas, mapeos, excepciones y extensiones correspondientes.
- Crea registros de contratación a partir de publicaciones transaccionales y define cómo gestionar modificaciones, actualizaciones, cancelaciones, correcciones y cambios históricos.
- Comprueba los datos transformados con los esquemas JSON de OCDS y corrige los datos de contratación ausentes, no válidos, incoherentes o no conformes.
- Facilita la publicación, el intercambio, el análisis o el uso interno de datos de contratación estandarizados.
- Desarrolla, prueba y mantiene flujos de datos de Databricks con Apache Spark, PySpark, Python y SQL.
- Ingiere y transforma datos de contratación estructurados y semiestructurados procedentes de JSON, CSV, XML, Parquet, bases de datos, API y archivos.
- Crea capas Bronze, Silver y Gold con la arquitectura medallón.
- Desarrolla modelos de datos normalizados, dimensionales, analíticos y basados en OCDS.
- Utiliza Delta Lake para aplicar y evolucionar esquemas, gestionar versiones, facilitar auditorías y procesar datos de forma fiable.
- Crea métodos reutilizables para convertir datos de contratación de origen en resultados compatibles con OCDS.
- Desarrolla procesos de ingesta de datos tanto por lotes como incrementales.
- Utiliza las herramientas adecuadas de Databricks, como Workflows, notebooks, jobs, Auto Loader, Delta Live Tables o Lakeflow.
- Desarrolla conexiones con API REST para la ingesta de datos de origen y la entrega de datos a sistemas posteriores.
- Automatiza controles de calidad de datos, conciliación, integridad y conformidad.
- Ayuda a implementar Unity Catalog para gestionar metadatos, propiedad, linaje, controles de acceso y descubrimiento de datos.
- Mejora los jobs de Spark, las consultas SQL, los clústeres, el particionado, el tamaño de los archivos y la organización de los datos.
- Contribuye a revisiones de código, pruebas automatizadas, CI/CD, despliegues, supervisión y soporte de producción.
- Diagnostica fallos de flujos de datos, discrepancias de datos y problemas de rendimiento.
- Define reglas medibles para la precisión, integridad, validez, puntualidad, coherencia y unicidad de los datos.
- Crea controles de validación para campos OCDS, identificadores, fechas, importes, monedas, organizaciones, clasificaciones y relaciones contractuales.
- Desarrolla paneles o informes sobre el cumplimiento de los contratos de datos y los resultados de calidad de datos.
- Establece métodos para detectar y gestionar la desviación de esquemas.
- Realiza el seguimiento del linaje de los datos de contratación a través de las transformaciones de Databricks hasta los productos posteriores.
- Colabora con los equipos de gobernanza para definir responsables, administradores, clasificaciones, conservación y políticas de acceso.
- Gestiona datos confidenciales de contratación y proveedores de acuerdo con los requisitos de seguridad y privacidad.
- Mantiene registros de auditoría con reglas documentadas, mapeos versionados, resultados de validación e historiales de cambios.
Requisitos
- Grado universitario en informática, sistemas de información, analítica de datos, análisis de negocio, ingeniería, administración pública, gestión de la cadena de suministro o una disciplina relacionada.
- Al menos cinco años de experiencia combinada en ingeniería de datos, análisis de datos, análisis de negocio o integración de datos.
- Experiencia práctica en la implementación o el uso del Open Contracting Data Standard (OCDS).
- Experiencia en la creación, documentación, negociación o mantenimiento de contratos de datos.
- Experiencia en el mapeo de datos de contratación o contratos a esquemas OCDS.
- Dominio de las versiones, registros, esquemas, listas de códigos, identificadores, etapas contractuales y métodos de validación de OCDS.
- Al menos tres años de experiencia práctica con Databricks.
- Sólidos conocimientos de Apache Spark, PySpark, Python, SQL, Delta Lake, flujos ETL/ELT, modelado de datos, JSON y JSON Schema, API REST, validación de calidad de datos y mapeo de origen a destino.
- Experiencia en la obtención de requisitos y su conversión en especificaciones de ingeniería concretas.
- Comunicación clara con colaboradores técnicos y no técnicos.
- Experiencia en la preparación de historias de usuario, criterios de aceptación, reglas de negocio, diccionarios de datos, especificaciones de interfaces y documentación de procesos.
- Sólidas habilidades de análisis, resolución de problemas, facilitación y documentación.
- Experiencia en la entrega de trabajo en equipos ágiles.
- Se valorará experiencia en contratación pública, contratos del sector público, subvenciones, adquisiciones, datos de proveedores o datos financieros.
- Se valorará experiencia en la creación de extensiones de OCDS o en la adaptación de OCDS a las necesidades de una organización.
- Se valorará familiaridad con clasificaciones de contratación, identificadores de organizaciones, licitaciones, adjudicaciones, modificaciones, hitos, transacciones y ejecución de contratos.
- Se valorará la certificación Databricks Certified Data Engineer Associate o Professional.
- Se valorará experiencia con Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, servicios en la nube, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, validadores de JSON Schema, marcos automatizados de calidad de datos, gestión de metadatos o datos maestros, linaje, gobernanza de datos de referencia, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins o Terraform.
- Se valorará experiencia en programas de datos de gran escala del gobierno federal, estatal o local, o de empresas reguladas.
- Se valorará familiaridad con los requisitos federales de adquisiciones, contratación, informes, transparencia o datos abiertos.
- Capacidad para contribuir tanto a conversaciones de ingeniería como de análisis de negocio.
- Sólida comprensión de los contratos de datos y la responsabilidad entre productores y consumidores.
- Capacidad para convertir procesos complejos de contratación en estructuras de datos y reglas de transformación claras.
- Cuidado al interpretar esquemas, listas de códigos, definiciones de negocio y requisitos de validación.
- Sólidas habilidades de facilitación con partes interesadas y resolución de conflictos.
- Capacidad para detectar brechas y ambigüedades antes de que provoquen defectos de ingeniería.
- Compromiso con la documentación, la trazabilidad, la gobernanza y la calidad de datos.
- Capacidad para trabajar eficazmente en un equipo amplio y multidisciplinario de Databricks.
Beneficios
- La oferta no especifica beneficios, ventajas ni compensación adicional.
Empleos relacionados
No se encontraron empleos
Prueba a ajustar o borrar los filtros para encontrar más oportunidades.