EXL
EXL
EXL to firma konsultingowa i dostawca usług biznesowych, która pomaga organizacjom wykorzystywać dane, analitykę i technologie w celu usprawniania operacji oraz podejmowania lepszych decyzji. Jej działalność obejmuje zarządzanie operacyjne, analitykę wspierającą podejmowanie decyzji i transformację cyfrową, a doświadczenie firmy obejmuje współpracę z klientami z sektorów ochrony zdrowia, ubezpieczeń, finansów i logistyki. EXL łączy analizę danych z praktyczną wiedzą biznesową, tworząc rozwiązania dopasowane do celów, modelu operacyjnego i specyfiki branżowej każdej organizacji.

Lider techniczny Databricks w EXL — Chennai, praca hybrydowa

Kieruj rozwojem rozwiązań lakehouse Databricks dla platform przeciwdziałających przestępczości finansowej. Twórz potoki Delta Lake i zarządzaj Unity Catalog w środowiskach deweloperskim, testowym i produkcyjnym.

Opis

  • Twórz i utrzymuj obszary robocze Databricks, klastry oraz pule zasobów obliczeniowych w środowiskach deweloperskim, testowym i produkcyjnym.
  • Konfiguruj zarządzanie danymi w Unity Catalog, kontrolę dostępu, szczegółowe uprawnienia i pochodzenie danych.
  • Dostrajaj typy klastrów, automatyczne skalowanie oraz węzły spot lub wywłaszczalne, aby równoważyć koszty i wydajność.
  • Ustalaj strukturę obszarów roboczych i kontrolę dostępu oraz zarządzaj sekretami za pomocą Databricks Secrets, Azure Key Vault lub AWS Secrets Manager.
  • Zarządzaj zadaniami i przepływami pracy Databricks oraz orkiestracją wielu zadań, uwzględniając zależności.
  • Projektuj tabele Delta Lake z partycjonowaniem i Z-orderingiem, a także kompaktuj pliki za pomocą OPTIMIZE i VACUUM.
  • Porządkuj ustrukturyzowane jeziora danych w warstwy Bronze, Silver i Gold zgodnie z architekturą Medallion.
  • Twórz potoki Delta Live Tables z deklaratywnym ETL/ELT i wbudowanymi wymaganiami dotyczącymi jakości danych.
  • Obsługuj zmiany schematów, wersje tabel, podróże w czasie i Change Data Feed na potrzeby przetwarzania przyrostowego.
  • Twórz wzorce lakehouse łączące Delta Lake z Kafka, ADLS, S3 i GCS.
  • Twórz potoki Databricks dla platform przeciwdziałających przestępczości finansowej, obejmujących AML, KYC, CRA, kontrolę sankcji, monitorowanie transakcji, wykrywanie oszustw i raportowanie regulacyjne.

Wymagania

  • Tytuł licencjata lub magistra w dziedzinie informatyki, technologii informacyjnych, inżynierii danych lub pokrewnej dyscyplinie.
  • Co najmniej 8 lat doświadczenia w inżynierii danych lub oprogramowania.
  • Co najmniej 3 lata praktycznego doświadczenia z Databricks w środowisku produkcyjnym.
  • Solidna znajomość inżynierii danych big data, chmurowych platform danych i przetwarzania rozproszonego.
  • Dogłębne doświadczenie z Databricks Workspaces, Clusters, Jobs, Workflows i Repos.
  • Biegła znajomość Unity Catalog, w tym konfiguracji metastore, zarządzania katalogami, schematami i tabelami, kontroli dostępu oraz pochodzenia danych.
  • Praktyczne doświadczenie w tworzeniu i monitorowaniu potoków Delta Live Tables oraz definiowaniu dla nich wymagań dotyczących jakości danych.
  • Dobra znajomość wewnętrznego działania Delta Lake, w tym dziennika transakcji, gwarancji ACID, układu plików i metod optymalizacji.
  • Doświadczenie z Databricks SQL Warehouses, SQL Analytics i tworzeniem pulpitów nawigacyjnych.
  • Znajomość silnika Databricks Photon, obliczeń bezserwerowych i optymalizacji kosztów.

Powiązane oferty pracy

Neuron

Starszy inżynier frontend, Angular

Neuron

Rozwijaj architekturę frontendu i twórz rozwiązania Angular na potrzeby internetu i urządzeń mobilnych na platformie Neuron do obsługi zgłoszeń z wykorzystaniem AI. Odpowiadaj za wielokrotnego użytku komponenty UI, integracje, wydajność i mentoring inżynierów.

Otwórz
Weekday

Starszy menedżer zespołu Full-Stack Java

Weekday

Kieruj zespołami inżynierskimi tworzącymi skalowalne usługi w Java i Spring Boot oraz nowoczesne aplikacje frontendowe. Odpowiadaj za architekturę, niezawodność, mentoring i dostarczanie oprogramowania dla klienta.

Otwórz
Nokia

Starszy inżynier oprogramowania, platformy chmurowe

Nokia

Rozwijaj chmurową platformę obserwowalności sieci MantaRay NM firmy Nokia, pracując z systemami rozproszonymi, Kubernetes i automatyzacją CI/CD. Wykorzystuj narzędzia inżynierskie wspierane przez AI i automatyzację, aby usprawniać tworzenie oprogramowania.

Otwórz
Nokia

Starszy inżynier oprogramowania, platformy chmurowe

Nokia

Twórz platformę zarządzania siecią MantaRay firmy Nokia dla dostawców usług telekomunikacyjnych. Rozwijaj rozproszone systemy chmurowe, Kubernetes, CI/CD oraz inżynierię wspieraną przez AI.

Otwórz