Coretek là nhà cung cấp dịch vụ được quản lý chuyên sâu về Microsoft Azure và công ty tư vấn công nghệ đám mây, phục vụ các tổ chức trong lĩnh vực chính phủ, y tế, sản xuất và dịch vụ tài chính. Công ty triển khai các hoạt động di chuyển lên đám mây, hiện đại hóa ứng dụng, tự động hóa DevOps, quản lý không gian làm việc, an ninh mạng và các giải pháp AI được xây dựng bằng Azure OpenAI cùng các công nghệ học máy. Coretek cũng cung cấp dịch vụ bảo mật và giám sát khả năng quan sát bằng các nền tảng như Palo Alto và Dynatrace, cùng với các mối quan hệ hợp tác liên quan đến Imprivata và Citrix. Đội ngũ đa ngành của công ty hỗ trợ khách hàng hiện đại hóa hạ tầng, củng cố bảo mật và phát triển các năng lực thực tiễn về đám mây và AI.
Kỹ sư dữ liệu Azure — Làm việc kết hợp tại Ấn Độ
Xây dựng và vận hành các quy trình dữ liệu Azure theo lô và phát trực tuyến đáng tin cậy cho Coretek. Phát triển mô hình dữ liệu có quản trị, kiểm soát chất lượng và quy trình production hỗ trợ các nhóm kinh doanh và kỹ thuật.
Mô tả
- Thiết kế, xây dựng và duy trì các quy trình dữ liệu theo lô và phát trực tuyến có tính lặp an toàn, khả năng quan sát và khả năng phục hồi
- Tạo các mô hình dữ liệu phân tích, bao gồm lược đồ chiều, lớp ngữ nghĩa và data mart được tuyển chọn
- Kết nối cơ sở dữ liệu vận hành, API SaaS, tệp và luồng sự kiện, đồng thời quản lý sự thay đổi lược đồ và dữ liệu đến trễ
- Tích hợp các kiểm tra về độ mới, khối lượng, tính duy nhất và toàn vẹn tham chiếu của dữ liệu trong các quy trình
- Thiết lập quy trình cảnh báo và chuyển cấp khi quy trình dữ liệu thất bại
- Quản lý các quy trình production thông qua giám sát, phản hồi sự cố theo chế độ trực, phân tích nguyên nhân gốc rễ và nạp bù dữ liệu
- Cải thiện hiệu năng và kiểm soát chi phí thông qua phân vùng, phân cụm, kích thước tệp và điều chỉnh kích thước kho dữ liệu hoặc cụm
- Sử dụng quản lý phiên bản, đánh giá mã, CI/CD, kiểm thử tự động và hạ tầng dưới dạng mã
- Thực thi kiểm soát truy cập, bảo vệ thông tin nhận dạng cá nhân, chính sách lưu giữ, truy xuất nguồn gốc và yêu cầu kiểm toán cùng các nhóm bảo mật và tuân thủ
- Phối hợp với chuyên viên phân tích, nhà khoa học dữ liệu và kỹ sư sản phẩm để thiết lập các hợp đồng dữ liệu bền vững
- Duy trì từ điển dữ liệu, hồ sơ truy xuất nguồn gốc và tài liệu vận hành quy trình luôn cập nhật
Yêu cầu
- Ít nhất năm năm kinh nghiệm xây dựng các quy trình dữ liệu production
- Kinh nghiệm thực hành Python vững chắc cho kỹ thuật dữ liệu, bao gồm kiểm thử, đóng gói và đánh giá mã
- Nắm vững thực tiễn các API PySpark DataFrame và SQL, phép nối và tổng hợp quy mô lớn, phân vùng, cơ chế shuffle và chẩn đoán qua Spark UI
- Kỹ năng SQL nâng cao, bao gồm hàm cửa sổ, phân tích kế hoạch truy vấn và tinh chỉnh hiệu năng
- Kinh nghiệm thực hành với Azure Data Factory, Databricks, Synapse hoặc Fabric và ADLS
- Kiến thức vững về mô hình hóa dữ liệu, bao quát chuẩn hóa, lược đồ sao và các chiều thay đổi chậm
- Kinh nghiệm với quy trình phát triển dựa trên Git và triển khai CI/CD
- Kỹ năng giao tiếp xuất sắc, bao gồm khả năng giải thích các vấn đề của quy trình dữ liệu cho các bên liên quan không chuyên kỹ thuật
- Khả năng phân tích và giải quyết vấn đề nổi bật, bao gồm phân tích nguyên nhân gốc rễ
- Kinh nghiệm vững trong làm việc với khách hàng ở môi trường kỹ thuật tư vấn
- Kinh nghiệm về dữ liệu phát trực tuyến với Kafka hoặc Event Hubs
- Kinh nghiệm sử dụng Delta Lake hoặc Iceberg
- Kinh nghiệm với Terraform hoặc Bicep cho hạ tầng dưới dạng mã và Docker hoặc Kubernetes cho việc đóng gói container
- Kinh nghiệm làm việc trong môi trường chịu quản lý, liên quan đến HIPAA, SOC 2, PCI hoặc GDPR
- Kinh nghiệm xây dựng nền tảng dữ liệu học máy hoặc hỗ trợ các quy trình đặc trưng
- Khả năng quản lý nhiều dự án khách hàng và cung cấp công việc chất lượng đúng tiến độ
- Kinh nghiệm sử dụng Azure DevOps hoặc GitHub cho quản lý mã nguồn và quy trình triển khai