Visa là một công ty công nghệ thanh toán toàn cầu phục vụ người tiêu dùng, đơn vị bán hàng, tổ chức tài chính và chính phủ thông qua mạng lưới thanh toán điện tử của mình. Nền tảng của Visa hỗ trợ các giao dịch tín dụng, ghi nợ và trả trước, cùng với dịch vụ xử lý thanh toán, phòng chống gian lận, bảo mật, phân tích và các giải pháp khác dành cho người tiêu dùng và doanh nghiệp. Visa cũng phát triển các giải pháp thanh toán mới nổi, bao gồm các sáng kiến thương mại tích hợp trí tuệ nhân tạo, đồng thời thúc đẩy tài chính toàn diện thông qua Visa Foundation.
Kỹ sư dữ liệu cấp cao, Hồ dữ liệu (Làm việc từ xa tại Brazil)
Xây dựng và duy trì các pipeline Spark, Databricks và Airflow cho hồ dữ liệu doanh nghiệp của Visa. Cải thiện chất lượng dữ liệu, khả năng điều phối và quyền truy cập dữ liệu tự phục vụ đáng tin cậy.
Mô tả
- Phát triển, kiểm thử và duy trì các pipeline thu thập, chuyển đổi và kiểm soát chất lượng dữ liệu trên Databricks bằng PySpark và SparkSQL.
- Tạo và cập nhật các DAG MWAA Airflow để điều phối quy trình dữ liệu.
- Viết và tối ưu SQL cho các tác vụ chuyển đổi và xác thực.
- Triển khai và giám sát các hoạt động kiểm tra chất lượng dữ liệu bằng Great Expectations hoặc công cụ tương đương.
- Tham gia đánh giá mã nguồn đồng cấp.
- Khắc phục sự cố pipeline và các vấn đề về chất lượng dữ liệu với sự hỗ trợ của các kỹ sư cấp cao.
- Tạo và cập nhật tài liệu cho các tập dữ liệu và pipeline.
- Tham gia lập kế hoạch sprint, ước tính và các buổi hồi cứu.
- Áp dụng các tiêu chuẩn CI/CD, kiểm thử và quản trị của nhóm.
- Góp phần nâng cao độ tin cậy và chất lượng của hồ dữ liệu doanh nghiệp Visa.
Yêu cầu
- Làm việc tại Brazil.
- Giao tiếp bằng tiếng Anh ở trình độ B2 trở lên (trên trung cấp).
- Có ít nhất 3 năm kinh nghiệm liên quan cùng bằng Cử nhân hoặc bằng Cao đẳng, hoặc có ít nhất 5 năm kinh nghiệm liên quan.
- Sử dụng Python cho tự động hóa và xử lý dữ liệu.
- Hiểu các pipeline dữ liệu theo lô và các mô hình ETL/ELT.
- Nắm được kiến thức nền tảng về Apache Spark, bao gồm PySpark hoặc SparkSQL.
- Có kinh nghiệm làm việc với jobs, workflows, quản lý cụm và tối ưu hiệu năng trên Databricks.
- Sử dụng SQL ở trình độ trung cấp đến nâng cao, bao gồm phép nối, hàm cửa sổ và CTE.
- Hiểu thiết kế hồ dữ liệu Amazon S3, bao gồm phân vùng, bố cục và quản lý vòng đời.
- Nắm các khái niệm cốt lõi của AWS, bao gồm S3, IAM và CloudWatch.
- Hiểu mô hình hóa chiều hoặc Kimball và kiến trúc các lớp medallion.
- Sử dụng quy trình làm việc Git/GitHub và tham gia đánh giá mã nguồn.
- Ưu tiên có kinh nghiệm với Delta Lake, Apache Airflow/MWAA, các mô hình CDC, khái niệm chất lượng dữ liệu, kiến thức nền tảng về Terraform hoặc tích hợp BI như Superset và xây dựng dashboard.
Phúc lợi
- Hình thức làm việc từ xa.
- Cơ hội tạo ra tác động ở quy mô lớn.
- Phát triển chuyên môn và nâng cao kỹ năng thông qua công việc có ý nghĩa.
- Nhân viên làm việc từ xa có thể có các cơ hội làm việc tại văn phòng Visa theo lịch trình và được thông báo trước.