GFT Technologies là một công ty công nghệ và chuyển đổi số hoạt động trong các lĩnh vực tư vấn, bảo hiểm và an ninh mạng. Nền tảng Cookiebot giúp các tổ chức thu thập và quản lý sự đồng ý của người dùng, đồng thời hỗ trợ tuân thủ các quy định về quyền riêng tư như GDPR và CCPA. Các giải pháp của công ty được thiết kế để tích hợp với những môi trường số hiện có và đang được hơn 600.000 khách hàng trên toàn thế giới sử dụng nhằm xử lý dữ liệu cá nhân minh bạch và kiểm soát tốt hơn.
Kỹ sư Dữ liệu Azure Databricks cấp Trung cấp/Cao cấp – Làm việc từ xa tại Colombia
Thiết kế và tối ưu hóa các quy trình dữ liệu và kiến trúc đám mây trên Azure và Databricks tại GFT Technologies. Chuẩn bị dữ liệu đáng tin cậy cho hoạt động phân tích, trí tuệ nhân tạo và học máy.
Mô tả
- Thiết kế, xây dựng và tối ưu hóa các kiến trúc dữ liệu dựa trên Azure và Databricks
- Triển khai các quy trình ETL và ELT để tích hợp nhiều nguồn thông tin
- Thiết kế và quản lý các kiến trúc Data Lake và Lakehouse
- Giám sát các quy trình dữ liệu để bảo đảm tính nhất quán, chất lượng, khả năng truy xuất và bảo mật
- Chuẩn bị và tối ưu hóa các tập dữ liệu cho phân tích nâng cao, báo cáo và các mô hình học máy
- Phối hợp với các nhóm BI, phân tích và khoa học dữ liệu để cải thiện khả năng tiếp cận thông tin
- Xác định và triển khai các biện pháp quản trị dữ liệu và kiểm soát chất lượng
- Triển khai các quy trình tích hợp liên tục và phân phối liên tục cho các giải pháp dữ liệu
- Thiết kế các giải pháp có khả năng mở rộng cho xử lý phân tán và khối lượng dữ liệu lớn
- Xác định các cải tiến giúp tối ưu hóa chi phí, hiệu suất và thời gian xử lý
- Đánh giá các công nghệ mới và phương pháp hay nhất để phát triển nền tảng dữ liệu
Yêu cầu
- Tốt nghiệp ngành Kỹ thuật Hệ thống, Kỹ thuật Công nghiệp, Kỹ thuật Điện tử, Kỹ thuật Cơ điện tử hoặc lĩnh vực liên quan
- Có từ ba đến năm năm kinh nghiệm ở vị trí Kỹ sư Dữ liệu
- Thành thạo SQL ở trình độ nâng cao
- Có kinh nghiệm với Python hoặc Scala
- Có kinh nghiệm xử lý phân tán bằng PySpark
- Có kinh nghiệm với Azure Databricks
- Có kinh nghiệm với Azure Data Factory
- Có kinh nghiệm với Azure Data Lake Storage Gen2 (ADLS Gen2)
- Có kiến thức về Delta Lake
- Có kinh nghiệm với kiến trúc Lakehouse
- Có kiến thức về kiến trúc Medallion
- Có kinh nghiệm mô hình hóa dữ liệu chiều
- Có kinh nghiệm với cơ sở dữ liệu quan hệ
- Có kinh nghiệm với cơ sở dữ liệu NoSQL
- Có kiến thức về quản trị và chất lượng dữ liệu
- Có kinh nghiệm với Unity Catalog
- Có kinh nghiệm với Delta Live Tables (DLT)
- Có kiến thức về Great Expectations
- Có kinh nghiệm xử lý luồng dữ liệu qua Event Hubs
- Có kinh nghiệm với Azure DevOps và Git
- Có kiến thức về Entra ID
- Có kiến thức về RBAC
- Thành thạo Power BI
- Thành thạo Visual Studio Code
- Có kinh nghiệm tích hợp dữ liệu và các quy trình ETL/ELT
- Có kinh nghiệm phân tích và mô hình hóa dữ liệu
- Các chứng chỉ Azure Data Engineering là một lợi thế
- Kinh nghiệm trong các dự án trí tuệ nhân tạo và học máy là một lợi thế
- Có kiến thức về DataOps và tự động hóa nền tảng dữ liệu là một lợi thế
Phúc lợi
- Giờ làm việc linh hoạt
- Làm việc từ xa
- Lộ trình phát triển nghề nghiệp được cá nhân hóa
- Các chương trình đào tạo
- Làm việc trong các nhóm đa ngành
- Đội ngũ toàn cầu đa dạng
- Tham gia các dự án có tầm ảnh hưởng lớn với những khách hàng hàng đầu trong ngành