Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services è un’azienda di consulenza e servizi tecnologici che aiuta le organizzazioni pubbliche e private a gestire e migliorare i propri ambienti IT. Le sue attività comprendono la gestione delle prestazioni aziendali, l’architettura, la gestione dei progetti, la gestione di infrastrutture e applicazioni e i servizi gestiti. L’azienda collabora inoltre con AppDynamics, BigPanda, Datadog e AWS per il monitoraggio delle prestazioni, la correlazione degli eventi e l’automazione, il monitoraggio del cloud e la gestione dei servizi IT. Scicom fornisce supporto operativo 24 ore su 24 per infrastrutture globali. Il suo profilo descrive un team attivo nei settori della tecnologia aziendale, del SaaS e del B2B; consulta le posizioni aperte per informazioni sui ruoli e sulle selezioni.

Ingegnere dei dati Databricks, contratti dati OCDS

Metti in contatto gli stakeholder degli appalti con i team di ingegneria per definire contratti dati in un ampio programma Databricks. Crea pipeline e controlli conformi a OCDS per ottenere dati contrattuali affidabili e standardizzati.

Descrizione

  • Metti in contatto i team aziendali, degli appalti, della governance e dell’ingegneria nell’ambito di una grande implementazione Databricks.
  • Conduci workshop sui requisiti con stakeholder degli appalti, dei programmi, dell’analisi, della governance e delle aree tecniche.
  • Crea e gestisci contratti dati che definiscono le modalità di scambio dei dati tra produttori e consumatori.
  • Trasforma le esigenze aziendali in storie utente, criteri di accettazione, flussi di processo, mappature, specifiche delle interfacce e requisiti di ingegneria.
  • Analizza i sistemi sorgente, profila i dati, valuta le lacune e mappa i campi sorgente nelle strutture di destinazione.
  • Confronta i dati attuali degli appalti con le strutture richieste da OCDS.
  • Favorisci l’accordo tra responsabili dei dati, produttori, consumatori, architetti e team di governance.
  • Segui i requisiti durante la modellazione dei dati, l’implementazione, i test e l’accettazione.
  • Valuta gli effetti delle modifiche proposte su prodotti dati, report, integrazioni e casi d’uso analitici.
  • Aiuta a preparare e condurre revisioni del backlog, pianificazione degli sprint, demo, test e accettazione degli stakeholder.
  • Applica OCDS ai dati degli appalti e dei contratti pubblici, dalla pianificazione all’implementazione.
  • Gestisci le mappature delle versioni, dei record, dei pacchetti, degli identificativi, delle organizzazioni, delle parti, degli articoli, delle tappe, dei documenti, delle transazioni, delle modifiche e degli elementi correlati di OCDS.
  • Utilizza schemi, elenchi di codici, regole di convalida e indicazioni per l’implementazione di OCDS.
  • Individua quando sono necessarie estensioni OCDS e documenta le relative ipotesi, regole, mappature, eccezioni ed estensioni.
  • Crea record contrattuali a partire dalle pubblicazioni transazionali e definisci come gestire modifiche, aggiornamenti, annullamenti, correzioni e cambiamenti storici.
  • Verifica i dati trasformati rispetto agli schemi JSON di OCDS e correggi i dati degli appalti mancanti, non validi, incoerenti o non conformi.
  • Consenti la pubblicazione, lo scambio, l’analisi o l’uso interno di dati contrattuali standardizzati.
  • Sviluppa, testa e gestisci pipeline Databricks con Apache Spark, PySpark, Python e SQL.
  • Acquisisci e trasforma dati strutturati e semistrutturati sugli appalti provenienti da JSON, CSV, XML, Parquet, database, API e file.
  • Crea livelli Bronze, Silver e Gold con l’architettura a medaglione.
  • Sviluppa modelli di dati normalizzati, dimensionali, analitici e basati su OCDS.
  • Usa Delta Lake per applicare ed evolvere gli schemi, gestire le versioni, supportare gli audit ed elaborare i dati in modo affidabile.
  • Crea metodi riutilizzabili per convertire i dati sorgente degli appalti in output compatibili con OCDS.
  • Sviluppa processi di acquisizione dei dati sia batch sia incrementali.
  • Usa gli strumenti Databricks più adatti, tra cui Workflows, notebook, job, Auto Loader, Delta Live Tables o Lakeflow.
  • Crea connessioni API REST per acquisire dati sorgente e consegnare dati ai sistemi a valle.
  • Automatizza i controlli di qualità dei dati, riconciliazione, completezza e conformità.
  • Contribuisci all’implementazione di Unity Catalog per metadati, titolarità, lineage, controlli di accesso e individuazione dei dati.
  • Migliora i job Spark, le query SQL, i cluster, il partizionamento, le dimensioni dei file e l’organizzazione dei dati.
  • Contribuisci alle revisioni del codice, ai test automatizzati, a CI/CD, ai deployment, al monitoraggio e al supporto in produzione.
  • Diagnostica errori delle pipeline, discrepanze nei dati e problemi di prestazioni.
  • Definisci regole misurabili per accuratezza, completezza, validità, tempestività, coerenza e unicità dei dati.
  • Crea controlli di convalida per campi OCDS, identificativi, date, importi, valute, organizzazioni, classificazioni e relazioni contrattuali.
  • Crea dashboard o report sulla conformità dei contratti dati e sui risultati della qualità dei dati.
  • Definisci metodi per rilevare e gestire le derive degli schemi.
  • Traccia il lineage dei dati degli appalti attraverso le trasformazioni Databricks fino ai prodotti a valle.
  • Collabora con i team di governance per definire responsabili, referenti, classificazioni, conservazione e politiche di accesso.
  • Gestisci dati sensibili relativi ad appalti e fornitori nel rispetto dei requisiti di sicurezza e privacy.
  • Mantieni tracce di audit con regole documentate, mappature versionate, risultati di convalida e cronologia delle modifiche.

Requisiti

  • Laurea in informatica, sistemi informativi, analisi dei dati, analisi aziendale, ingegneria, amministrazione pubblica, gestione della catena di fornitura o disciplina correlata.
  • Almeno cinque anni di esperienza complessiva in ingegneria dei dati, analisi dei dati, analisi aziendale o integrazione dei dati.
  • Esperienza pratica nell’implementazione o nell’uso dell’Open Contracting Data Standard (OCDS).
  • Esperienza nella creazione, documentazione, negoziazione o gestione di contratti dati.
  • Esperienza nella mappatura di dati di appalti o contrattuali su schemi OCDS.
  • Ottima conoscenza di versioni, record, schemi, elenchi di codici, identificativi, fasi contrattuali e metodi di convalida OCDS.
  • Almeno tre anni di esperienza pratica con Databricks.
  • Ottima conoscenza di Apache Spark, PySpark, Python, SQL, Delta Lake, pipeline ETL/ELT, modellazione dei dati, JSON e JSON Schema, API REST, convalida della qualità dei dati e mappatura da sorgente a destinazione.
  • Esperienza nella raccolta dei requisiti e nella loro trasformazione in specifiche ingegneristiche operative.
  • Comunicazione chiara con interlocutori tecnici e non tecnici.
  • Esperienza nella preparazione di storie utente, criteri di accettazione, regole aziendali, dizionari dei dati, specifiche delle interfacce e documentazione dei processi.
  • Ottime capacità di analisi, risoluzione dei problemi, facilitazione e documentazione.
  • Esperienza nella realizzazione di attività in team agili.
  • Preferibile: esperienza in appalti pubblici, contratti del settore pubblico, sovvenzioni, acquisizioni, fornitori o dati finanziari.
  • Preferibile: esperienza nella creazione di estensioni OCDS o nell’adattamento di OCDS alle esigenze organizzative.
  • Preferibile: familiarità con classificazioni degli appalti, identificativi di organizzazioni, gare, aggiudicazioni, modifiche, tappe, transazioni e attuazione dei contratti.
  • Preferibile: certificazione Databricks Certified Data Engineer Associate o Professional.
  • Preferibile: esperienza con Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, servizi cloud, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, validatori JSON Schema, framework automatizzati di qualità dei dati, gestione di metadati o dati master, lineage, governance dei dati di riferimento, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins o Terraform.
  • Preferibile: esperienza in programmi di dati su larga scala del governo federale, statale o locale o di imprese regolamentate.
  • Preferibile: familiarità con requisiti federali in materia di acquisizione, appalti, rendicontazione, trasparenza o dati aperti.
  • Capacità di contribuire sia alle discussioni di ingegneria sia a quelle di analisi aziendale.
  • Solida comprensione dei contratti dati e delle responsabilità di produttori e consumatori.
  • Capacità di tradurre processi complessi di appalto in strutture dati e regole di trasformazione chiare.
  • Accuratezza nell’interpretazione di schemi, elenchi di codici, definizioni aziendali e requisiti di convalida.
  • Ottime capacità di facilitazione degli stakeholder e risoluzione dei conflitti.
  • Capacità di individuare lacune e ambiguità prima che causino difetti ingegneristici.
  • Attenzione alla documentazione, alla tracciabilità, alla governance e alla qualità dei dati.
  • Capacità di lavorare efficacemente in un team Databricks ampio e multidisciplinare.

Benefit

  • L’annuncio non specifica benefit, vantaggi o compensi aggiuntivi.

Offerte correlate

Nessuna offerta di lavoro trovata

Prova a modificare o cancellare i filtri per trovare altre opportunità.