EXL
EXL
A EXL é uma empresa de consultoria e serviços empresariais que ajuda organizações a utilizar dados, análises e tecnologia para melhorar suas operações e tomar decisões mais assertivas. Seu trabalho inclui gestão de operações, análise para tomada de decisões e transformação digital, com experiência nos setores de saúde, seguros, finanças e logística. A EXL combina ciência de dados com experiência prática em negócios para desenvolver soluções adaptadas aos objetivos, ao modelo operacional e ao contexto de cada organização.

Líder técnico de Databricks na EXL — Chennai, híbrido

Lidere a engenharia lakehouse do Databricks para plataformas de combate a crimes financeiros. Desenvolva pipelines Delta Lake e gerencie o Unity Catalog em ambientes de desenvolvimento, teste e produção.

Descrição

  • Criar e manter workspaces, clusters e pools de computação do Databricks nos ambientes de desenvolvimento, teste e produção.
  • Configurar a governança do Unity Catalog, os controles de acesso, as permissões granulares e a linhagem de dados.
  • Ajustar os tipos de cluster, o escalonamento automático e os nós spot ou preemptíveis para equilibrar custo e desempenho.
  • Estabelecer estruturas de workspace, controles de acesso e gerenciamento de segredos usando Databricks Secrets, Azure Key Vault ou AWS Secrets Manager.
  • Gerenciar jobs, workflows e a orquestração de várias tarefas no Databricks, incluindo dependências.
  • Projetar tabelas Delta Lake com particionamento e ordenação Z e compactar arquivos com OPTIMIZE e VACUUM.
  • Organizar data lakes estruturados em camadas Bronze, Silver e Gold usando a arquitetura Medallion.
  • Desenvolver pipelines do Delta Live Tables com ETL/ELT declarativo e expectativas integradas de qualidade de dados.
  • Lidar com alterações de esquema, versões de tabelas, viagem no tempo e Change Data Feed para processamento incremental.
  • Criar padrões lakehouse que conectem Delta Lake a Kafka, ADLS, S3 e GCS.
  • Desenvolver pipelines Databricks para plataformas de combate a crimes financeiros que abranjam AML, KYC, CRA, triagem de sanções, monitoramento de transações, detecção de fraudes e relatórios regulatórios.

Requisitos

  • Bacharelado ou mestrado em ciência da computação, tecnologia da informação, engenharia de dados ou área relacionada.
  • Pelo menos 8 anos de experiência em engenharia de dados ou engenharia de software.
  • Pelo menos 3 anos de experiência prática com Databricks em produção.
  • Forte domínio de engenharia de big data, plataformas de dados em nuvem e computação distribuída.
  • Experiência aprofundada com Databricks Workspaces, Clusters, Jobs, Workflows e Repos.
  • Proficiência em Unity Catalog, incluindo configuração de metastore, gerenciamento de catálogos, esquemas e tabelas, controles de acesso e linhagem de dados.
  • Experiência prática no desenvolvimento e monitoramento de pipelines Delta Live Tables e na definição de expectativas para eles.
  • Forte compreensão dos componentes internos do Delta Lake, incluindo seu log de transações, garantias ACID, organização de arquivos e métodos de otimização.
  • Experiência com Databricks SQL Warehouses, SQL Analytics e desenvolvimento de dashboards.
  • Conhecimento do mecanismo Databricks Photon, de computação sem servidor e de otimização de custos.

Vagas relacionadas

Neuron

Engenheiro(a) sênior de frontend, Angular

Neuron

Lidere a arquitetura de frontend e desenvolva experiências Angular para web e dispositivos móveis na plataforma de resolução de serviços com IA da Neuron. Assuma a responsabilidade por componentes de interface reutilizáveis, integrações, desempenho e mentoria de engenheiros.

Abrir
Weekday

Gerente sênior de engenharia Java full stack

Weekday
501 – 1.000 Funcionários
Comércio eletrônicoModaVarejo

Lidere equipes de engenharia que desenvolvem serviços escaláveis com Java e Spring Boot e aplicações frontend modernas. Oriente a arquitetura, a confiabilidade, a mentoria e as entregas para um cliente de desenvolvimento de software.

Abrir
Nokia

Engenheiro(a) sênior de software, plataformas nativas da nuvem

Nokia

Desenvolva o MantaRay NM da Nokia, uma plataforma nativa da nuvem para observabilidade de redes, trabalhando com sistemas distribuídos, Kubernetes e automação de CI/CD. Aplique ferramentas de engenharia assistida por IA e automação para aprimorar o desenvolvimento de software.

Abrir