EXL
EXL
EXL là một công ty tư vấn kinh doanh và cung cấp dịch vụ, hỗ trợ các tổ chức sử dụng dữ liệu, phân tích và công nghệ để cải thiện hoạt động cũng như đưa ra quyết định tốt hơn. Công ty cung cấp các dịch vụ như quản lý vận hành, phân tích quyết định và chuyển đổi số, đồng thời có kinh nghiệm hỗ trợ khách hàng trong các lĩnh vực chăm sóc sức khỏe, bảo hiểm, tài chính và logistics. EXL kết hợp khoa học dữ liệu với chuyên môn kinh doanh thực tiễn để phát triển các giải pháp phù hợp với mục tiêu, mô hình vận hành và bối cảnh ngành của từng tổ chức.

Trưởng nhóm kỹ thuật Databricks tại EXL — Chennai, làm việc kết hợp

Dẫn dắt kỹ thuật lakehouse Databricks cho các nền tảng phòng chống tội phạm tài chính. Xây dựng pipeline Delta Lake và quản lý Unity Catalog trong môi trường phát triển, kiểm thử và sản xuất.

Mô tả

  • Xây dựng và duy trì workspace, cụm máy và nhóm tài nguyên tính toán Databricks trong môi trường phát triển, kiểm thử và sản xuất.
  • Thiết lập cơ chế quản trị Unity Catalog, kiểm soát truy cập, quyền chi tiết và dòng dữ liệu.
  • Điều chỉnh loại cụm, khả năng tự động mở rộng và các nút spot hoặc có thể thu hồi để cân bằng chi phí với hiệu năng.
  • Thiết lập cấu trúc workspace, kiểm soát truy cập và quản lý bí mật bằng Databricks Secrets, Azure Key Vault hoặc AWS Secrets Manager.
  • Quản lý job, workflow và điều phối nhiều tác vụ Databricks, bao gồm các quan hệ phụ thuộc.
  • Thiết kế bảng Delta Lake với phân vùng và sắp xếp Z-order; thu gọn tệp bằng OPTIMIZE và VACUUM.
  • Tổ chức hồ dữ liệu có cấu trúc thành các lớp Bronze, Silver và Gold theo kiến trúc Medallion.
  • Phát triển pipeline Delta Live Tables với ETL/ELT khai báo và các quy tắc chất lượng dữ liệu tích hợp.
  • Xử lý thay đổi lược đồ, phiên bản bảng, truy vấn dữ liệu theo thời điểm và Change Data Feed để xử lý tăng dần.
  • Tạo các mẫu lakehouse kết nối Delta Lake với Kafka, ADLS, S3 và GCS.
  • Xây dựng pipeline Databricks cho các nền tảng phòng chống tội phạm tài chính, bao gồm AML, KYC, CRA, sàng lọc lệnh trừng phạt, giám sát giao dịch, phát hiện gian lận và báo cáo theo quy định.

Yêu cầu

  • Có bằng cử nhân hoặc thạc sĩ về khoa học máy tính, công nghệ thông tin, kỹ thuật dữ liệu hoặc ngành liên quan.
  • Có ít nhất 8 năm kinh nghiệm trong lĩnh vực kỹ thuật dữ liệu hoặc kỹ thuật phần mềm.
  • Có ít nhất 3 năm kinh nghiệm thực tế với Databricks trong môi trường sản xuất.
  • Có nền tảng vững chắc về kỹ thuật dữ liệu lớn, nền tảng dữ liệu đám mây và điện toán phân tán.
  • Có kinh nghiệm chuyên sâu với Databricks Workspaces, Clusters, Jobs, Workflows và Repos.
  • Thành thạo Unity Catalog, bao gồm thiết lập metastore, quản lý catalog, schema và bảng, kiểm soát truy cập và dòng dữ liệu.
  • Có kinh nghiệm thực tiễn trong việc phát triển, giám sát và thiết lập các quy tắc cho pipeline Delta Live Tables.
  • Hiểu biết vững về cấu trúc bên trong Delta Lake, gồm nhật ký giao dịch, bảo đảm ACID, bố cục tệp và các phương pháp tối ưu hóa.
  • Có kinh nghiệm với Databricks SQL Warehouses, SQL Analytics và phát triển dashboard.
  • Có kiến thức về công cụ Photon của Databricks, điện toán serverless và tối ưu hóa chi phí.

Việc làm liên quan

Neuron

Kỹ sư Frontend Angular cấp cao

Neuron

Dẫn dắt kiến trúc frontend và xây dựng trải nghiệm Angular cho web và thiết bị di động trên nền tảng xử lý yêu cầu dịch vụ bằng AI của Neuron. Phụ trách các thành phần giao diện có thể tái sử dụng, tích hợp, hiệu năng và hướng dẫn kỹ sư.

Mở
Weekday

Quản lý Kỹ thuật Java Full-Stack Cấp cao

Weekday

Dẫn dắt các nhóm kỹ thuật xây dựng dịch vụ Java và Spring Boot có khả năng mở rộng cùng ứng dụng giao diện hiện đại. Định hướng kiến trúc, độ tin cậy, cố vấn và tiến độ bàn giao cho khách hàng phát triển phần mềm.

Mở
Citi

Lập trình viên Spring Boot Microservices – Pune, làm việc kết hợp

Citi

Phát triển và hỗ trợ các ứng dụng dịch vụ tài chính của Citi được xây dựng bằng Spring Boot microservices. Công việc bao gồm tăng cường bảo mật ứng dụng, gỡ lỗi hệ thống và tư vấn cho các bên liên quan về công nghệ.

Mở
AtkinsRéalis

Kỹ sư trưởng EICA, ngành nước và nước thải

AtkinsRéalis

Dẫn dắt thiết kế kỹ thuật điện cho các nhà máy xử lý nước, nước thải và trạm bơm tại AtkinsRéalis. Hướng dẫn triển khai dự án đa ngành, tuân thủ tiêu chuẩn, rà soát thiết kế và phát triển đội ngũ kỹ sư điện.

Mở
Nokia

Kỹ sư phần mềm cấp cao, nền tảng cloud-native

Nokia

Xây dựng nền tảng giám sát mạng cloud-native MantaRay NM của Nokia, làm việc với hệ thống phân tán, Kubernetes và tự động hóa CI/CD. Ứng dụng các công cụ kỹ thuật có AI hỗ trợ và tự động hóa để cải thiện quy trình phát triển phần mềm.

Mở