Expleo Group là đối tác toàn cầu về kỹ thuật, công nghệ và tư vấn, hỗ trợ các tổ chức chuyển đổi hoạt động, phát triển những sản phẩm phức tạp, đồng thời nâng cao quy trình sản xuất và chất lượng. Công ty hoạt động trong các lĩnh vực tư vấn, quốc phòng và logistics, với năng lực về trí tuệ nhân tạo, số hóa và an ninh mạng. Được thành lập vào năm 1966, Expleo kết hợp hơn năm thập kỷ kinh nghiệm với đội ngũ 18.000 chuyên gia làm việc tại 29 quốc gia nhằm thúc đẩy đổi mới và nâng cao hiệu quả vận hành.
Kỹ sư dữ liệu PySpark và Databricks
Xây dựng pipeline PySpark và SQL trên Databricks. Tạo bộ dữ liệu đáng tin cậy, được quản trị chặt chẽ cho các nhóm phân tích và học máy tại Chennai.
Mô tả
- Phát triển pipeline ETL và ELT bằng PySpark và SQL để xử lý dữ liệu quy mô lớn
- Xây dựng và tối ưu quy trình Databricks, bao gồm notebook, job và cấu hình cụm
- Phối hợp với các nhóm phân tích và học máy để cung cấp bộ dữ liệu sạch, có tài liệu đầy đủ
- Theo dõi hiệu suất pipeline, xử lý sự cố và duy trì chất lượng, tính toàn vẹn của dữ liệu
- Thiết lập hoạt động quản trị dữ liệu và các thông lệ tốt nhất cho nền tảng
- Đóng góp ý kiến trong các buổi đánh giá thiết kế và quyết định kiến trúc
Yêu cầu
- Có 4–6 năm kinh nghiệm thực tế trong lĩnh vực kỹ thuật dữ liệu hoặc lĩnh vực liên quan
- Sử dụng thành thạo PySpark để xử lý phân tán ở quy mô lớn
- Vận dụng SQL nâng cao, bao gồm tối ưu truy vấn, hàm cửa sổ, CTE và phép nối phức tạp
- Có kinh nghiệm vững chắc với Databricks, Delta Lake và quy trình làm việc; ưu tiên biết Unity Catalog
- Có kinh nghiệm với nền tảng đám mây AWS hoặc Azure
- Có kỹ năng cốt lõi về PySpark, SQL, Databricks, AWS, Azure, Python và Git
- Có kinh nghiệm với các công cụ xử lý luồng như Apache Kafka hoặc Spark Streaming là một lợi thế
- Có hiểu biết về pipeline học máy và quy trình kỹ thuật đặc trưng là một lợi thế