Sigma Software Group
Sigma Software Group
Sigma Software Group è una società multinazionale di consulenza tecnologica fondata nel 2002. I suoi team offrono servizi di sviluppo software, progettazione grafica, testing e supporto tecnico a clienti di settori quali automotive, sanità, telecomunicazioni, aviazione, banche, videogiochi, immobiliare e pubblicità. L’azienda assume specialisti IT per lavorare a progetti di ingegneria complessi e sostiene la crescita professionale attraverso mentoring e apprendimento continuo. Il lavoro da remoto fa parte del suo modello operativo, con progetti per organizzazioni come AstraZeneca, Scania e SAS.

Data Engineer senior, migrazione a Databricks

Migra l’analisi dei dati di una grande azienda di vendita al dettaglio da BigQuery a Databricks Lakehouse, creando pipeline PySpark scalabili, architettura medallion e piattaforme dati cloud governate.

Descrizione

  • Contribuisci alla migrazione di una piattaforma di analisi su larga scala da BigQuery a Databricks.
  • Progetta e realizza architetture Lakehouse scalabili con Databricks e Delta Lake.
  • Valuta i carichi di lavoro ETL ed ELT esistenti e definisci gli approcci alla migrazione.
  • Sviluppa e ottimizza pipeline per grandi volumi di dati retail e analitici.
  • Implementa strategie di elaborazione incrementale e framework di trasformazione scalabili.
  • Sviluppa e mantieni soluzioni di elaborazione dati con Spark utilizzando PySpark.
  • Progetta e gestisci i livelli medallion Bronze, Silver e Gold.
  • Applica pratiche di governance e sicurezza dei dati con Unity Catalog.
  • Collabora con i team di Data Science, Analytics, Prodotto e Ingegneria per i clienti.
  • Contribuisci alle discussioni sull’architettura e alla progettazione di soluzioni tecniche.
  • Crea componenti riutilizzabili per la piattaforma dati e standard di ingegneria.
  • Esamina il codice e migliora l’affidabilità e la manutenibilità della piattaforma.
  • Individua i problemi e ottimizza carichi di lavoro complessi di SQL e Spark.
  • Supporta i rilasci in produzione e la modernizzazione della piattaforma.

Requisiti

  • Hai almeno cinque anni di esperienza professionale come Data Engineer.
  • Hai solide competenze di programmazione in Python e un’ottima padronanza di SQL.
  • Hai esperienza pratica e commerciale con Databricks.
  • Conosci bene Apache Spark, in particolare PySpark.
  • Hai esperienza nella progettazione e realizzazione di moderne piattaforme dati cloud.
  • Hai esperienza nello sviluppo di pipeline ETL ed ELT e di soluzioni di elaborazione dati su larga scala.
  • Hai esperienza pratica con Delta Lake.
  • Hai esperienza con Spark Declarative Pipelines.
  • Hai esperienza nel monitoraggio dei cluster, nell’analisi delle metriche e nell’ottimizzazione delle prestazioni.
  • Comprendi le architetture di elaborazione dati distribuita.
  • Comprendi i concetti di data warehousing e la modellazione dimensionale.
  • Hai esperienza con Airflow o uno strumento di orchestrazione comparabile.
  • Hai esperienza nell’ottimizzazione di carichi di lavoro analitici SQL complessi.
  • Hai esperienza nell’applicazione di pratiche CI/CD alle piattaforme di data engineering.
  • Sai risolvere problemi e ottimizzare le prestazioni.
  • Lavori efficacemente con team internazionali e interfunzionali.
  • Hai una conoscenza dell’inglese di livello intermedio superiore o superiore.

Benefit

  • Il lavoro da remoto è disponibile per i dipendenti.
  • Opportunità di apprendimento continuo.
  • Possibilità di crescere insieme alla tecnologia.
  • Impatto significativo attraverso il lavoro di ingegneria.
  • Lavoro su progetti internazionali complessi.

Offerte correlate

Intetics

Ingegnere dei dati ML, da remoto dalla Romania

Intetics

Realizza infrastrutture dati in tempo reale, basate su grafi e serie temporali per le prestazioni degli atleti. Supporta la valutazione del machine learning e i sistemi di IA per un cliente Intetics negli Stati Uniti.

Apri
AllCloud

Ingegnere dei dati con ebraico

AllCloud

Crea piattaforme lakehouse su AWS, pipeline di dati e soluzioni di IA per i clienti di consulenza cloud di AllCloud. Progetta architetture scalabili e aiuta i clienti a modernizzare i propri sistemi di dati.

Apri