Instituto de Pesquisas Eldorado là một viện nghiên cứu và phát triển của Brazil, được thành lập vào năm 1999, hỗ trợ các tổ chức biến những sáng kiến công nghệ thành sản phẩm đã được kiểm thử và các giải pháp đổi mới thiết thực. Hoạt động của viện bao gồm chứng nhận sản phẩm viễn thông, kiểm thử trong phòng thí nghiệm và tư vấn đổi mới cho các lĩnh vực như ô tô, y tế, logistics, nông nghiệp, năng lượng và dầu khí. Viện cũng phát triển các chương trình đào tạo, giáo dục và hợp tác với các đối tác trong ngành và lĩnh vực nghiên cứu nhằm mở rộng năng lực công nghệ.
Chuyên viên Phân tích Dữ liệu – PySpark, SQL và Power BI
Xây dựng quy trình dữ liệu, mô hình và bảng điều khiển cho trung tâm R&D tại Brazil của Instituto de Pesquisas Eldorado. Làm việc với PySpark, SQL, Databricks và Power BI.
Mô tả
- Tạo và triển khai các quy trình nạp dữ liệu bằng REST API, thu thập dữ liệu web, thủ tục SQL cũ và tệp dữ liệu
- Hỗ trợ triển khai sao chép chỉ đọc cho các hệ thống không thể truy cập cơ sở dữ liệu trực tiếp, có tính đến ảnh hưởng hiệu năng
- Chuyển đổi dữ liệu bằng PySpark và SQL
- Hỗ trợ đánh giá chi phí và hiệu năng xử lý, cũng như định cỡ tài nguyên hiệu quả
- Hỗ trợ xây dựng các lớp dữ liệu Bronze, Silver và Gold theo kiến trúc medallion
- Xây dựng quy trình thu thập dữ liệu web có khả năng chống chịu, phát hiện thay đổi bố cục và giảm thiểu tình trạng bị chặn
- Loại bỏ dữ liệu trùng lặp, chuẩn hóa dữ liệu và kiểm tra chất lượng
- Hỗ trợ triển khai hợp đồng dữ liệu và cảnh báo thay đổi lược đồ cho các tích hợp bên thứ ba
- Tạo bảng điều khiển và báo cáo Power BI
- Chuyển nhu cầu kinh doanh thành mô hình dữ liệu và hình ảnh trực quan dễ hiểu
- Áp dụng Bảo mật cấp hàng (Row-Level Security) cho báo cáo theo chính sách RBAC
- Tạo kiểm thử chất lượng dữ liệu và các phép biến đổi khai báo bằng dbt
- Hỗ trợ cấu hình tính năng phân tích tự phục vụ, bao gồm Fabric Copilot
- Phối hợp với các nhóm quản trị dữ liệu để duy trì nguồn gốc và phân loại dữ liệu
- Tìm và khắc phục vấn đề hiệu năng trong quy trình và truy vấn
- Thực hiện kiểm thử chấp nhận của người dùng và cải thiện bảng điều khiển dựa trên phản hồi
Yêu cầu
- Có bằng cử nhân về Khoa học Máy tính, Kỹ thuật Máy tính, Phân tích Hệ thống hoặc lĩnh vực liên quan
- Có kinh nghiệm ở cấp độ trung cấp về kỹ thuật dữ liệu, Python hoặc PySpark và SQL
- Quen thuộc với Databricks hoặc Spark
- Quen thuộc với các công cụ điều phối như Azure Data Factory
- Quen thuộc với các định dạng dữ liệu phân tích như Parquet và Delta Lake
- Có kiến thức về dbt là một lợi thế
- Quen thuộc với Git và CI/CD cho quy trình dữ liệu
- Có kinh nghiệm tích hợp dữ liệu qua REST API
- Có kiến thức về thực hành trực quan hóa dữ liệu và kể chuyện bằng dữ liệu
- Có kinh nghiệm làm việc với nhiều nguồn dữ liệu, bao gồm SQL, API, tệp, Lakehouse và Warehouse
- Có kinh nghiệm triển khai Bảo mật cấp hàng (Row-Level Security)
- Sẵn sàng đi công tác đến São Paulo là một lợi thế
- Có trình độ tiếng Anh nâng cao là một lợi thế
Phúc lợi
- Cơ hội bình đẳng cho tất cả ứng viên
- Môi trường làm việc đa dạng và hòa nhập
- Chào đón ứng viên là người khuyết tật
- Hình thức làm việc kết hợp
- Cơ hội tích lũy kinh nghiệm và đóng góp vào các dự án có ý nghĩa
- Được tiếp cận cơ sở hạ tầng phòng thí nghiệm và các dự án R&D của tổ chức