EXL
EXL
EXL adalah perusahaan konsultasi bisnis dan layanan yang membantu organisasi memanfaatkan data, analitik, dan teknologi untuk meningkatkan operasional serta mengambil keputusan yang lebih baik. Layanannya mencakup manajemen operasional, analitik keputusan, dan transformasi digital, dengan pengalaman mendukung klien di bidang kesehatan, asuransi, keuangan, dan logistik. EXL memadukan ilmu data dengan keahlian bisnis praktis untuk mengembangkan solusi yang disesuaikan dengan tujuan, model operasional, dan konteks industri setiap organisasi.

Pemimpin Teknis Databricks di EXL — Chennai, Hibrida

Pimpin rekayasa lakehouse Databricks untuk platform kejahatan keuangan. Bangun pipeline Delta Lake dan kelola Unity Catalog di lingkungan pengembangan, pengujian, dan produksi.

Deskripsi

  • Bangun dan pelihara workspace, cluster, dan kumpulan komputasi Databricks untuk lingkungan pengembangan, pengujian, dan produksi.
  • Siapkan tata kelola Unity Catalog, kontrol akses, izin terperinci, dan silsilah data.
  • Sesuaikan jenis cluster, penskalaan otomatis, serta node spot atau yang dapat dihentikan untuk menyeimbangkan biaya dan kinerja.
  • Tetapkan struktur workspace, kontrol akses, dan pengelolaan rahasia menggunakan Databricks Secrets, Azure Key Vault, atau AWS Secrets Manager.
  • Kelola job, workflow, dan orkestrasi multi-tugas Databricks, termasuk dependensinya.
  • Rancang tabel Delta Lake dengan partisi dan Z-ordering, serta ringkas file menggunakan OPTIMIZE dan VACUUM.
  • Atur data lake terstruktur ke dalam lapisan Bronze, Silver, dan Gold menggunakan arsitektur Medallion.
  • Kembangkan pipeline Delta Live Tables dengan ETL/ELT deklaratif dan ekspektasi kualitas data bawaan.
  • Tangani perubahan skema, versi tabel, perjalanan waktu, dan Change Data Feed untuk pemrosesan inkremental.
  • Buat pola lakehouse yang menghubungkan Delta Lake dengan Kafka, ADLS, S3, dan GCS.
  • Bangun pipeline Databricks untuk platform kejahatan keuangan yang mencakup AML, KYC, CRA, penyaringan sanksi, pemantauan transaksi, deteksi penipuan, dan pelaporan regulasi.

Persyaratan

  • Gelar sarjana atau magister di bidang ilmu komputer, teknologi informasi, rekayasa data, atau disiplin terkait.
  • Pengalaman minimal 8 tahun di bidang rekayasa data atau rekayasa perangkat lunak.
  • Pengalaman langsung minimal 3 tahun menggunakan Databricks di lingkungan produksi.
  • Pemahaman kuat tentang rekayasa big data, platform data cloud, dan komputasi terdistribusi.
  • Pengalaman mendalam dengan Databricks Workspaces, Clusters, Jobs, Workflows, dan Repos.
  • Kemampuan menggunakan Unity Catalog, termasuk penyiapan metastore, pengelolaan katalog, skema, dan tabel, kontrol akses, serta silsilah data.
  • Pengalaman praktis dalam mengembangkan dan memantau pipeline Delta Live Tables serta menetapkan ekspektasinya.
  • Pemahaman kuat tentang internal Delta Lake, termasuk log transaksinya, jaminan ACID, tata letak file, dan metode optimasi.
  • Pengalaman dengan Databricks SQL Warehouses, SQL Analytics, dan pengembangan dasbor.
  • Pengetahuan tentang mesin Databricks Photon, komputasi tanpa server, dan optimasi biaya.

Lowongan Terkait

Weekday

Manajer Senior Rekayasa Java Full-Stack

Weekday
501 – 1.000 Karyawan
ModePerdagangan elektronikRitel

Pimpin tim rekayasa yang membangun layanan Java dan Spring Boot yang skalabel serta aplikasi frontend modern. Arahkan arsitektur, keandalan, pendampingan, dan delivery untuk klien pengembangan perangkat lunak.

Buka
Nokia

Insinyur Perangkat Lunak Senior, Platform Cloud-Native

Nokia

Kembangkan platform observabilitas jaringan cloud-native MantaRay NM milik Nokia dengan menangani sistem terdistribusi, Kubernetes, dan otomatisasi CI/CD. Gunakan alat rekayasa berbantuan AI dan otomatisasi untuk meningkatkan pengembangan perangkat lunak.

Buka
Nokia

Insinyur Perangkat Lunak Senior, Platform Cloud-Native

Nokia

Kembangkan platform manajemen jaringan MantaRay Nokia untuk penyedia telekomunikasi. Pimpin sistem terdistribusi cloud-native, Kubernetes, otomasi CI/CD, dan rekayasa berbantuan AI.

Buka