EXL
EXL
EXL è un'azienda di consulenza e servizi alle imprese che aiuta le organizzazioni a utilizzare dati, analisi e tecnologia per migliorare le proprie attività e prendere decisioni più efficaci. Le sue attività comprendono la gestione operativa, l'analisi a supporto delle decisioni e la trasformazione digitale, con esperienza nei settori della sanità, delle assicurazioni, della finanza e della logistica. EXL combina la data science con una concreta esperienza aziendale per sviluppare soluzioni adatte agli obiettivi, al modello operativo e al contesto di ciascuna organizzazione.

Responsabile tecnico Databricks presso EXL — Chennai, modalità ibrida

Guida l’ingegneria lakehouse Databricks per piattaforme contro i reati finanziari. Sviluppa pipeline Delta Lake e gestisci Unity Catalog negli ambienti di sviluppo, test e produzione.

Descrizione

  • Creare e gestire workspace, cluster e pool di calcolo Databricks negli ambienti di sviluppo, test e produzione.
  • Configurare la governance di Unity Catalog, i controlli di accesso, le autorizzazioni granulari e la lineage dei dati.
  • Ottimizzare i tipi di cluster, lo scaling automatico e i nodi spot o preemptible per bilanciare costi e prestazioni.
  • Definire le strutture dei workspace, i controlli di accesso e la gestione dei segreti usando Databricks Secrets, Azure Key Vault o AWS Secrets Manager.
  • Gestire job, workflow e orchestrazione di più attività Databricks, incluse le dipendenze.
  • Progettare tabelle Delta Lake con partizionamento e ordinamento Z, quindi compattare i file con OPTIMIZE e VACUUM.
  • Organizzare i data lake strutturati in livelli Bronze, Silver e Gold secondo l’architettura Medallion.
  • Sviluppare pipeline Delta Live Tables con ETL/ELT dichiarativo e aspettative integrate sulla qualità dei dati.
  • Gestire modifiche agli schemi, versioni delle tabelle, time travel e Change Data Feed per l’elaborazione incrementale.
  • Creare modelli lakehouse che collegano Delta Lake a Kafka, ADLS, S3 e GCS.
  • Sviluppare pipeline Databricks per piattaforme contro i reati finanziari, che coprono AML, KYC, CRA, screening delle sanzioni, monitoraggio delle transazioni, rilevamento delle frodi e rendicontazione normativa.

Requisiti

  • Laurea o laurea magistrale in informatica, tecnologie dell’informazione, ingegneria dei dati o disciplina correlata.
  • Almeno 8 anni di esperienza nell’ingegneria dei dati o del software.
  • Almeno 3 anni di esperienza pratica con Databricks in produzione.
  • Solide basi di ingegneria dei big data, piattaforme dati cloud e calcolo distribuito.
  • Esperienza approfondita con Databricks Workspaces, Clusters, Jobs, Workflows e Repos.
  • Padronanza di Unity Catalog, inclusi configurazione del metastore, gestione di cataloghi, schemi e tabelle, controlli di accesso e lineage dei dati.
  • Esperienza pratica nello sviluppo e nel monitoraggio di pipeline Delta Live Tables e nella definizione delle relative aspettative.
  • Solida comprensione del funzionamento interno di Delta Lake, inclusi log delle transazioni, garanzie ACID, disposizione dei file e metodi di ottimizzazione.
  • Esperienza con Databricks SQL Warehouses, SQL Analytics e sviluppo di dashboard.
  • Conoscenza del motore Databricks Photon, del calcolo serverless e dell’ottimizzazione dei costi.

Offerte correlate

Neuron

Senior frontend engineer, Angular

Neuron

Guida l’architettura frontend e sviluppa esperienze Angular per web e dispositivi mobili sulla piattaforma di risoluzione dei servizi basata sull’IA di Neuron. Gestisci componenti UI riutilizzabili, integrazioni, prestazioni e mentoring degli ingegneri.

Apri
Weekday

Responsabile senior dell’ingegneria Java full stack

Weekday

Guida team di ingegneria che realizzano servizi scalabili con Java e Spring Boot e applicazioni frontend moderne. Indirizza architettura, affidabilità, mentoring e delivery per un cliente che opera nello sviluppo software.

Apri
Nokia

Senior software engineer, piattaforme cloud native

Nokia

Sviluppa MantaRay NM di Nokia, una piattaforma cloud native per l’osservabilità delle reti, lavorando con sistemi distribuiti, Kubernetes e automazione CI/CD. Applica strumenti di ingegneria assistita dall’IA e automazione per migliorare lo sviluppo software.

Apri