Keep IT Simple
Keep IT Simple
Keep IT Simple (KIS) è un fornitore di servizi e soluzioni IT con sede nella Silicon Valley, al servizio di organizzazioni in California e oltre. Fondata nel 1988, l’azienda aiuta i clienti a gestire esigenze tecnologiche complesse attraverso servizi di cybersicurezza, virtualizzazione, soluzioni cloud e consulenza per le infrastrutture di rete. Le sue attività riguardano settori come la logistica, la sanità e la cybersicurezza, con particolare attenzione a una consulenza IT concreta, a soluzioni attente ai costi e a un servizio clienti reattivo.

Senior data engineer Databricks, piattaforme AI

Sviluppa piattaforme dati cloud e Databricks per una società globale di assicurazioni e gestione patrimoniale. Contribuisci a soluzioni di analytics governato, apprendimento automatico e intelligenza artificiale generativa.

Descrizione

  • Sviluppa e mantieni pipeline e prodotti di dati scalabili con Databricks, Spark, Python e SQL.
  • Crea e migliora integrazioni batch, in streaming e in tempo reale tra fonti aziendali e di terze parti.
  • Implementa architetture Lakehouse Databricks con Delta Lake e pattern Medallion.
  • Realizza prodotti di dati per analytics, modellazione predittiva, apprendimento automatico e intelligenza artificiale generativa.
  • Collabora con data scientist e ingegneri AI per preparare, trasformare e governare i dati destinati a casi d’uso di AI e apprendimento automatico.
  • Crea pipeline di feature engineering e supporta i processi del ciclo di vita dell’apprendimento automatico.
  • Sviluppa soluzioni di dati per RAG, ricerca vettoriale e semantica e applicazioni basate su modelli linguistici di grandi dimensioni (LLM).
  • Migliora job Spark, carichi di lavoro SQL e framework di dati per prestazioni, scalabilità ed efficienza dei costi.
  • Definisci funzionalità per qualità, osservabilità, lineage, governance e monitoraggio dei dati.
  • Rispetta gli standard di privacy e sicurezza dei dati e di AI responsabile.
  • Supporta CI/CD, Infrastructure as Code e DataOps sull’intera piattaforma dati.
  • Guida gli ingegneri junior e promuovi solide pratiche di ingegneria.
  • Collabora con data scientist, ingegneri AI, architetti e stakeholder aziendali per fornire prodotti di dati affidabili e governati.
  • Supporta le iniziative aziendali di AI e AI generativa con piattaforme dati robuste, sicure e governate.

Requisiti

  • Laurea in informatica, sistemi informativi, ingegneria, matematica o disciplina affine.
  • Almeno 7 anni di esperienza nell’ingegneria dei dati, nello sviluppo ETL o in piattaforme dati su larga scala.
  • Almeno 3 anni di esperienza pratica con Databricks e Apache Spark.
  • Ottima conoscenza di Python e SQL, con esperienza nell’elaborazione distribuita dei dati.
  • Esperienza nella creazione di data lake, data warehouse e architetture Lakehouse in cloud.
  • Esperienza nel supporto a iniziative di AI, apprendimento automatico o analytics avanzati.
  • Conoscenza della modellazione, della governance e della gestione dei dati aziendali.
  • Esperienza nella creazione e ottimizzazione di pipeline su larga scala in AWS, Azure o Google Cloud.
  • Esperienza con Databricks Delta Lake, Unity Catalog, Delta Live Tables, MLflow, Mosaic AI e Databricks Workflows.
  • Esperienza pratica con AI generativa, modelli linguistici di grandi dimensioni, RAG, database vettoriali o applicazioni basate sull’AI.
  • Familiarità con LangChain, Semantic Kernel, API OpenAI, Hugging Face o strumenti equivalenti.
  • Esperienza con feature store, pipeline di addestramento dei modelli e MLOps.
  • Esperienza con Kafka, Event Hub o altre tecnologie di streaming.
  • È preferibile la certificazione Databricks Certified Data Engineer Professional o una certificazione cloud equivalente.
  • Competenza nell’ingegneria della piattaforma Databricks.
  • Esperienza nello sviluppo con Apache Spark.
  • Competenza nell’ingegneria dei dati per AI e apprendimento automatico.
  • Esperienza con soluzioni di dati per l’AI generativa.
  • Esperienza con architetture Lakehouse.
  • Competenza nella modellazione dei dati e nel data warehousing.
  • Competenza nella governance e nella sicurezza dei dati.
  • Esperienza nell’osservabilità dei dati e nell’ingegneria dell’affidabilità.
  • Esperienza con piattaforme dati cloud su AWS o Azure.
  • Esperienza con DataOps, CI/CD e automazione.
  • Esperienza di leadership tecnica e mentoring.

Benefit

  • Incarico come professionista indipendente (PJ).
  • Modalità ibrida con tre giorni alla settimana in presenza presso l’ufficio di Pinheiros, São Paulo.

Offerte correlate

Ecolab

Responsabile dello sviluppo commerciale, trattamento dei PFAS

Ecolab

Sviluppa il mercato europeo di Ecolab per il trattamento dell’acqua da PFAS e contaminanti emergenti, promuovendo le soluzioni a scambio ionico Purolite attraverso partnership, specifiche e progetti pilota. Trasforma le conoscenze sui clienti e sul mercato in crescita commerciale per applicazioni municipali, industriali e di bonifica.

Apri