Walmart là một công ty bán lẻ và thương mại điện tử toàn cầu, phục vụ người tiêu dùng thông qua các đại siêu thị, cửa hàng bách hóa giảm giá, địa điểm kinh doanh hàng tạp hóa và sàn thương mại điện tử. Danh mục sản phẩm đa dạng của công ty được hỗ trợ bởi mạng lưới cửa hàng vật lý rộng lớn, hoạt động bán hàng trực tiếp đến người tiêu dùng cùng các hệ thống logistics và chuỗi cung ứng cần thiết để luân chuyển sản phẩm trong toàn doanh nghiệp.
Kỹ sư dữ liệu cấp cao - Bangalore, Ấn Độ (Làm việc tại văn phòng)
Xây dựng các quy trình dữ liệu theo lô và truyền trực tuyến có khả năng mở rộng cùng các sản phẩm dữ liệu GenAI cho hoạt động kiểm toán sau thanh toán của Walmart. Nâng cao độ chính xác thanh toán, đối soát, quy trình thu hồi và phân tích tài chính.
Mô tả
- Xây dựng và duy trì các quy trình dữ liệu theo lô, truyền trực tuyến và gần thời gian thực có khả năng mở rộng cho kiểm toán sau thanh toán, tính toàn vẹn thanh toán, đối soát nhà cung cấp, hoạt động thu hồi và phân tích tài chính.
- Phát triển các tập dữ liệu đã được tuyển chọn, mô hình ngữ nghĩa, bảng sẵn sàng cho tính năng và sản phẩm dữ liệu có thể tái sử dụng từ các hệ thống hóa đơn, đơn đặt hàng, nhận hàng, nhà cung cấp, khiếu nại, định giá và thanh toán.
- Tạo các quy trình ELT, ETL và truyền trực tuyến bằng SQL, Python, PySpark, Apache Flink, dbt, công cụ điều phối, nền tảng truyền sự kiện và công nghệ dữ liệu đám mây.
- Phát triển các quy trình truyền trực tuyến và thu thập thay đổi dữ liệu với xử lý theo thời gian sự kiện, xử lý dữ liệu đến trễ, khả năng phát lại, tính bất biến khi lặp, nạp bù và khôi phục khi lỗi.
- Thiết kế và vận hành các sản phẩm dữ liệu lakehouse bằng Apache Hudi, Apache Iceberg hoặc Delta Lake.
- Thiết lập các quy trình kiểm tra chất lượng dữ liệu, kiểm soát đối soát, xác thực lược đồ, theo dõi nguồn gốc, giám sát, cảnh báo và khả năng quan sát.
- Phối hợp với các nhóm Tài chính, Kiểm toán, Vận hành, Sản phẩm, Khoa học dữ liệu và Kỹ thuật để cung cấp các giải pháp dữ liệu sẵn sàng cho môi trường sản xuất.
- Hỗ trợ phát hiện bất thường, ưu tiên ngoại lệ, quy tắc kiểm toán, chấm điểm máy học và quy trình GenAI.
- Tạo các giải pháp tự động hóa và dịch vụ dữ liệu giúp nhóm kiểm toán tóm tắt bằng chứng, phân loại ngoại lệ, cung cấp bối cảnh điều tra và giảm khối lượng rà soát thủ công.
- Triển khai các mô hình kỹ thuật dữ liệu GenAI như kho tài liệu sẵn sàng truy xuất, quy trình tạo embedding, tích hợp cơ sở dữ liệu vector, làm giàu siêu dữ liệu và truy xuất tri thức có kiểm soát.
- Cải thiện các khối lượng công việc theo lô và truyền trực tuyến về độ tin cậy, tính mới, độ trễ, quản lý trạng thái, hiệu quả tính toán và khả năng sử dụng ở các hệ thống hạ nguồn.
- Điều tra sai lệch dữ liệu, lỗi quy trình, chênh lệch đối soát và vấn đề của hệ thống nguồn thông qua phân tích nguyên nhân gốc.
Yêu cầu
- Bằng cử nhân về Khoa học máy tính, Kỹ thuật, Công nghệ thông tin, Kỹ thuật dữ liệu, Phân tích, Toán học, Thống kê hoặc ngành liên quan cùng hơn 6 năm kinh nghiệm phù hợp; hoặc bằng thạc sĩ cùng hơn 4 năm kinh nghiệm, hoặc bằng tiến sĩ cùng hơn 3 năm kinh nghiệm phù hợp.
- Có khả năng thực hành đã được chứng minh với SQL, Python, PySpark, Apache Flink hoặc một framework xử lý luồng tương đương và xử lý dữ liệu phân tán quy mô lớn.
- Có kinh nghiệm với dbt hoặc framework chuyển đổi tương đương, Airflow hoặc công cụ điều phối tương tự, Kafka hoặc nền tảng truyền sự kiện tương đương và công nghệ dữ liệu đám mây hoặc doanh nghiệp như BigQuery, Hive hoặc Spark.
- Có thành tích thiết kế, triển khai và hỗ trợ các quy trình dữ liệu theo lô và truyền trực tuyến, quy trình ELT/ETL, mô hình dữ liệu và sản phẩm dữ liệu có thể tái sử dụng trong môi trường sản xuất.
- Hiểu biết vững về mô hình hóa dữ liệu, phân vùng, tinh chỉnh hiệu năng, xử lý gia tăng, CDC, tiến hóa lược đồ, hợp đồng dữ liệu, quản lý siêu dữ liệu, theo dõi nguồn gốc và các định dạng lakehouse như Apache Hudi, Apache Iceberg hoặc Delta Lake.
- Có kinh nghiệm triển khai kiểm tra chất lượng dữ liệu, logic đối soát, framework xác thực, khả năng quan sát, giám sát, cảnh báo và xử lý sự cố cho các quy trình sản xuất.
- Có kinh nghiệm phát triển giải pháp truyền trực tuyến với xử lý theo thời gian sự kiện, chuyển đổi có trạng thái, checkpoint, watermark, xử lý chính xác một lần hoặc hiệu quả như một lần và chiến lược phát lại hoặc nạp bù.
- Có kinh nghiệm xử lý các tập dữ liệu có cấu trúc và bán cấu trúc quy mô lớn từ nhiều hệ thống nguồn, bao gồm dữ liệu vận hành có định nghĩa nghiệp vụ không nhất quán.
- Kỹ năng cộng tác tốt và khả năng làm việc với các nhóm Tài chính, Kiểm toán, Vận hành, Sản phẩm, Khoa học dữ liệu và Kỹ thuật.
- Các phương án thay thế cho điều kiện tối thiểu gồm bằng cử nhân Khoa học máy tính cùng 3 năm kinh nghiệm kỹ thuật phần mềm hoặc lĩnh vực liên quan; 5 năm kinh nghiệm kỹ thuật phần mềm hoặc lĩnh vực liên quan; hoặc bằng thạc sĩ Khoa học máy tính cùng 1 năm kinh nghiệm kỹ thuật phần mềm hoặc lĩnh vực liên quan.
- Có ít nhất 2 năm kinh nghiệm trong kỹ thuật dữ liệu, kỹ thuật cơ sở dữ liệu, trí tuệ kinh doanh hoặc phân tích kinh doanh.
Phúc lợi
- Khoản thưởng khuyến khích dựa trên hiệu suất.
- Nghỉ thai sản và nghỉ chăm sóc con.
- Nghỉ phép có hưởng lương.
- Phúc lợi chăm sóc sức khỏe.