
A Scicom Infrastructure Services é uma empresa de consultoria e serviços de tecnologia que ajuda organizações dos setores público e privado a gerenciar e aprimorar seus ambientes de TI. Sua atuação abrange gestão de desempenho empresarial, arquitetura, gerenciamento de projetos, gestão de infraestrutura e aplicações e serviços gerenciados. A empresa também trabalha com AppDynamics, BigPanda, Datadog e AWS em monitoramento de desempenho, correlação de eventos e automação, monitoramento em nuvem e gerenciamento de serviços de TI. A Scicom oferece suporte operacional ininterrupto para infraestruturas globais. Seu perfil descreve uma equipe que atua com tecnologia corporativa, SaaS e B2B; consulte as vagas atuais para saber mais sobre as funções e o processo seletivo.
Engenheiro de dados Databricks, contratos de dados OCDS
Conecte as partes interessadas em compras públicas às equipes de engenharia para definir contratos de dados em um grande programa Databricks. Desenvolva pipelines e controles alinhados ao OCDS para garantir dados de contratação confiáveis e padronizados.
Descrição
- Conecte as equipes de negócios, contratação, governança e engenharia em uma grande implementação do Databricks.
- Lidere workshops de requisitos com as partes interessadas de compras públicas, programas, analytics, governança e áreas técnicas.
- Crie e mantenha contratos de dados que definam como produtores e consumidores trocam dados.
- Transforme as necessidades de negócios em histórias de usuário, critérios de aceitação, fluxos de processo, mapeamentos, especificações de interface e requisitos de engenharia.
- Analise os sistemas de origem, perfile os dados, avalie lacunas e mapeie campos de origem para estruturas de destino.
- Compare os dados atuais de compras públicas com as estruturas exigidas pelo OCDS.
- Promova o alinhamento entre responsáveis pelos dados, produtores, consumidores, arquitetos e equipes de governança.
- Acompanhe os requisitos durante a modelagem de dados, implementação, testes e aceitação.
- Avalie como as mudanças propostas afetam produtos de dados, relatórios, integrações e casos de uso analíticos.
- Ajude a preparar e conduzir revisões do backlog, planejamento de sprint, demonstrações, testes e aceitação das partes interessadas.
- Aplique o OCDS aos dados de compras públicas e contratos governamentais, do planejamento à implementação.
- Mantenha mapeamentos de versões, registros, pacotes, identificadores, organizações, partes, itens, marcos, documentos, transações, aditivos e elementos relacionados do OCDS.
- Use esquemas, listas de códigos, regras de validação e orientações de implementação do OCDS.
- Identifique quando são necessárias extensões do OCDS e registre as premissas, regras, mapeamentos, exceções e extensões relacionadas.
- Crie registros contratuais a partir de publicações transacionais e defina como tratar aditivos, atualizações, cancelamentos, correções e alterações históricas.
- Verifique os dados transformados em relação aos esquemas JSON do OCDS e corrija dados de compras ausentes, inválidos, inconsistentes ou não conformes.
- Viabilize a publicação, o intercâmbio, a análise ou o uso interno de dados de contratação padronizados.
- Desenvolva, teste e mantenha pipelines do Databricks com Apache Spark, PySpark, Python e SQL.
- Faça a ingestão e transformação de dados estruturados e semiestruturados de compras públicas provenientes de JSON, CSV, XML, Parquet, bancos de dados, APIs e arquivos.
- Crie camadas Bronze, Silver e Gold com a arquitetura medalhão.
- Desenvolva modelos de dados normalizados, dimensionais, analíticos e baseados no OCDS.
- Use o Delta Lake para aplicar e evoluir esquemas, gerenciar versões, dar suporte a auditorias e processar dados com confiabilidade.
- Crie métodos reutilizáveis para converter dados de origem de compras públicas em saídas compatíveis com OCDS.
- Desenvolva ingestão de dados em lote e incremental.
- Use as ferramentas adequadas do Databricks, incluindo Workflows, notebooks, jobs, Auto Loader, Delta Live Tables ou Lakeflow.
- Crie conexões com APIs REST para ingestão de dados de origem e entrega de dados a sistemas subsequentes.
- Automatize verificações de qualidade, reconciliação, completude e conformidade dos dados.
- Ajude a implementar o Unity Catalog para metadados, propriedade, linhagem, controles de acesso e descoberta de dados.
- Aprimore jobs Spark, consultas SQL, clusters, particionamento, tamanhos de arquivo e organização dos dados.
- Contribua com revisões de código, testes automatizados, CI/CD, implantações, monitoramento e suporte à produção.
- Diagnostique falhas de pipeline, divergências nos dados e problemas de desempenho.
- Defina regras mensuráveis para precisão, completude, validade, atualidade, consistência e unicidade dos dados.
- Crie controles de validação para campos OCDS, identificadores, datas, valores, moedas, organizações, classificações e relações contratuais.
- Crie painéis ou relatórios sobre a conformidade dos contratos de dados e os resultados de qualidade dos dados.
- Estabeleça formas de detectar e gerenciar desvios de esquema.
- Rastreie a linhagem dos dados de compras públicas pelas transformações do Databricks até os produtos subsequentes.
- Trabalhe com as equipes de governança para definir responsáveis, curadores, classificações, retenção e políticas de acesso.
- Trate dados confidenciais de compras públicas e fornecedores conforme os requisitos de segurança e privacidade.
- Mantenha trilhas de auditoria com regras documentadas, mapeamentos versionados, resultados de validação e históricos de alterações.
Requisitos
- Bacharelado em ciência da computação, sistemas de informação, analytics de dados, análise de negócios, engenharia, administração pública, gestão da cadeia de suprimentos ou área relacionada.
- Pelo menos cinco anos de experiência combinada em engenharia de dados, análise de dados, análise de negócios ou integração de dados.
- Experiência prática na implementação ou no uso do Open Contracting Data Standard (OCDS).
- Experiência na criação, documentação, negociação ou manutenção de contratos de dados.
- Experiência no mapeamento de dados de compras públicas ou contratação para esquemas OCDS.
- Domínio sólido de versões, registros, esquemas, listas de códigos, identificadores, etapas contratuais e métodos de validação do OCDS.
- Pelo menos três anos de experiência prática com Databricks.
- Sólidos conhecimentos de Apache Spark, PySpark, Python, SQL, Delta Lake, pipelines ETL/ELT, modelagem de dados, JSON e JSON Schema, APIs REST, validação de qualidade dos dados e mapeamento da origem ao destino.
- Experiência em levantar requisitos e transformá-los em especificações de engenharia acionáveis.
- Comunicação clara com parceiros técnicos e não técnicos.
- Experiência na preparação de histórias de usuário, critérios de aceitação, regras de negócios, dicionários de dados, especificações de interface e documentação de processos.
- Sólidas habilidades de análise, resolução de problemas, facilitação e documentação.
- Experiência na entrega de trabalho em equipes ágeis.
- Desejável: experiência com compras governamentais, contratação no setor público, subsídios, aquisições, fornecedores ou dados financeiros.
- Desejável: experiência na criação de extensões OCDS ou na adaptação do OCDS às necessidades organizacionais.
- Desejável: familiaridade com classificações de compras, identificadores de organizações, licitações, adjudicações, aditivos, marcos, transações e execução contratual.
- Desejável: certificação Databricks Certified Data Engineer Associate ou Professional.
- Desejável: experiência com Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, serviços de nuvem, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, validadores JSON Schema, frameworks automatizados de qualidade de dados, gestão de metadados ou dados mestres, linhagem, governança de dados de referência, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins ou Terraform.
- Desejável: experiência em grandes programas de dados do governo federal, estadual ou municipal, ou de empresas reguladas.
- Desejável: familiaridade com requisitos federais de aquisição, compras, relatórios, transparência ou dados abertos.
- Capacidade de contribuir tanto em discussões de engenharia quanto de análise de negócios.
- Sólida compreensão de contratos de dados e da responsabilidade entre produtores e consumidores.
- Capacidade de transformar processos complexos de compras públicas em estruturas de dados e regras de transformação claras.
- Atenção ao interpretar esquemas, listas de códigos, definições de negócios e requisitos de validação.
- Sólidas habilidades de facilitação com partes interessadas e resolução de conflitos.
- Capacidade de identificar lacunas e ambiguidades antes que causem defeitos de engenharia.
- Compromisso com documentação, rastreabilidade, governança e qualidade dos dados.
- Capacidade de trabalhar com eficiência em uma equipe Databricks ampla e multidisciplinar.
Benefícios
- A publicação não especifica benefícios, vantagens ou remuneração adicional.
Vagas relacionadas
Nenhuma vaga encontrada
Tente ajustar ou limpar os filtros para encontrar mais oportunidades.