Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services là công ty tư vấn và dịch vụ công nghệ, hỗ trợ các tổ chức thuộc khu vực công và tư nhân quản lý và cải thiện môi trường CNTT. Hoạt động của công ty bao gồm quản lý hiệu suất doanh nghiệp, kiến trúc, quản lý dự án, quản lý hạ tầng và ứng dụng, cùng các dịch vụ được quản lý. Công ty cũng hợp tác với AppDynamics, BigPanda, Datadog và AWS trong các lĩnh vực giám sát hiệu suất, tương quan sự kiện và tự động hóa, giám sát đám mây và quản lý dịch vụ CNTT. Scicom cung cấp hỗ trợ vận hành suốt ngày đêm cho hạ tầng toàn cầu. Hồ sơ mô tả đội ngũ hoạt động trong các lĩnh vực công nghệ doanh nghiệp, SaaS và B2B; hãy xem các vị trí đang tuyển để biết thông tin về vai trò và tuyển dụng.

Kỹ sư dữ liệu Databricks, hợp đồng dữ liệu OCDS

Kết nối các bên liên quan về mua sắm với đội ngũ kỹ thuật để xác định hợp đồng dữ liệu cho một chương trình Databricks quy mô lớn. Xây dựng quy trình dữ liệu và cơ chế kiểm soát theo OCDS nhằm chuẩn hóa dữ liệu hợp đồng và bảo đảm độ tin cậy.

Mô tả

  • Kết nối các nhóm nghiệp vụ, hợp đồng, quản trị và kỹ thuật trong một dự án triển khai Databricks quy mô lớn.
  • Chủ trì các buổi làm việc thu thập yêu cầu với các bên liên quan về mua sắm, chương trình, phân tích, quản trị và kỹ thuật.
  • Tạo và duy trì các hợp đồng dữ liệu quy định cách bên cung cấp và bên sử dụng trao đổi dữ liệu.
  • Chuyển nhu cầu nghiệp vụ thành câu chuyện người dùng, tiêu chí chấp nhận, luồng quy trình, ánh xạ, đặc tả giao diện và yêu cầu kỹ thuật.
  • Phân tích hệ thống nguồn, lập hồ sơ dữ liệu, đánh giá khoảng trống và ánh xạ trường nguồn sang cấu trúc đích.
  • So sánh dữ liệu mua sắm hiện tại với cấu trúc theo yêu cầu của OCDS.
  • Điều phối để chủ sở hữu dữ liệu, bên cung cấp, bên sử dụng, kiến trúc sư và nhóm quản trị thống nhất với nhau.
  • Theo dõi yêu cầu xuyên suốt quá trình mô hình hóa dữ liệu, triển khai, kiểm thử và nghiệm thu.
  • Đánh giá tác động của các thay đổi được đề xuất đối với sản phẩm dữ liệu, báo cáo, tích hợp và trường hợp sử dụng phân tích.
  • Hỗ trợ chuẩn bị và tiến hành rà soát backlog, lập kế hoạch sprint, trình diễn, kiểm thử và nghiệm thu với các bên liên quan.
  • Áp dụng OCDS cho dữ liệu mua sắm và hợp đồng công từ giai đoạn lập kế hoạch đến triển khai.
  • Duy trì ánh xạ cho các bản phát hành, hồ sơ, gói, mã định danh, tổ chức, bên tham gia, mặt hàng, mốc, tài liệu, giao dịch, sửa đổi và thành phần liên quan trong OCDS.
  • Sử dụng lược đồ, danh sách mã, quy tắc xác thực và hướng dẫn triển khai OCDS.
  • Xác định khi nào cần phần mở rộng OCDS và ghi lại các giả định, quy tắc, ánh xạ, ngoại lệ và phần mở rộng liên quan.
  • Tạo hồ sơ hợp đồng từ các bản phát hành giao dịch và xác định cách xử lý sửa đổi, cập nhật, hủy bỏ, đính chính và thay đổi lịch sử.
  • Đối chiếu dữ liệu đã chuyển đổi với lược đồ JSON của OCDS và khắc phục dữ liệu mua sắm bị thiếu, không hợp lệ, không nhất quán hoặc không tuân thủ.
  • Hỗ trợ công bố, trao đổi, phân tích hoặc sử dụng nội bộ dữ liệu hợp đồng đã chuẩn hóa.
  • Xây dựng, kiểm thử và duy trì quy trình dữ liệu Databricks bằng Apache Spark, PySpark, Python và SQL.
  • Thu nhận và chuyển đổi dữ liệu mua sắm có cấu trúc và bán cấu trúc từ JSON, CSV, XML, Parquet, cơ sở dữ liệu, API và tệp.
  • Tạo các lớp Bronze, Silver và Gold theo kiến trúc medallion.
  • Phát triển mô hình dữ liệu chuẩn hóa, đa chiều, phân tích và dựa trên OCDS.
  • Sử dụng Delta Lake để áp dụng và phát triển lược đồ, quản lý phiên bản, hỗ trợ kiểm toán và xử lý dữ liệu đáng tin cậy.
  • Tạo các phương thức có thể tái sử dụng để chuyển dữ liệu mua sắm nguồn thành đầu ra tương thích với OCDS.
  • Xây dựng quy trình thu nhận dữ liệu theo lô và tăng dần.
  • Sử dụng các công cụ Databricks phù hợp, gồm Workflows, notebook, job, Auto Loader, Delta Live Tables hoặc Lakeflow.
  • Xây dựng kết nối REST API để thu nhận dữ liệu nguồn và phân phối dữ liệu cho các hệ thống tiếp theo.
  • Tự động hóa việc kiểm tra chất lượng dữ liệu, đối soát, tính đầy đủ và mức độ tuân thủ.
  • Hỗ trợ triển khai Unity Catalog cho siêu dữ liệu, quyền sở hữu, dòng dữ liệu, kiểm soát truy cập và khám phá dữ liệu.
  • Cải thiện job Spark, truy vấn SQL, cụm tính toán, phân vùng, kích thước tệp và bố cục dữ liệu.
  • Tham gia rà soát mã, kiểm thử tự động, CI/CD, triển khai, giám sát và hỗ trợ môi trường sản xuất.
  • Chẩn đoán lỗi quy trình dữ liệu, sai lệch dữ liệu và vấn đề hiệu năng.
  • Thiết lập các quy tắc có thể đo lường về độ chính xác, đầy đủ, hợp lệ, kịp thời, nhất quán và duy nhất của dữ liệu.
  • Tạo cơ chế xác thực cho trường OCDS, mã định danh, ngày tháng, số tiền, tiền tệ, tổ chức, phân loại và quan hệ hợp đồng.
  • Xây dựng bảng điều khiển hoặc báo cáo về mức độ tuân thủ hợp đồng dữ liệu và kết quả chất lượng dữ liệu.
  • Thiết lập phương thức phát hiện và quản lý sai lệch lược đồ.
  • Theo dõi dòng dữ liệu mua sắm qua các bước chuyển đổi Databricks đến sản phẩm phía sau.
  • Phối hợp với nhóm quản trị để xác định chủ sở hữu, người quản lý dữ liệu, phân loại, thời hạn lưu giữ và chính sách truy cập.
  • Xử lý dữ liệu mua sắm và nhà cung cấp nhạy cảm theo yêu cầu bảo mật và quyền riêng tư.
  • Duy trì dấu vết kiểm toán với các quy tắc được ghi chép, ánh xạ có quản lý phiên bản, kết quả xác thực và lịch sử thay đổi.

Yêu cầu

  • Bằng cử nhân về khoa học máy tính, hệ thống thông tin, phân tích dữ liệu, phân tích nghiệp vụ, kỹ thuật, hành chính công, quản lý chuỗi cung ứng hoặc ngành liên quan.
  • Có ít nhất năm năm kinh nghiệm tổng hợp trong kỹ thuật dữ liệu, phân tích dữ liệu, phân tích nghiệp vụ hoặc tích hợp dữ liệu.
  • Có kinh nghiệm thực tế triển khai hoặc sử dụng Open Contracting Data Standard (OCDS).
  • Có kinh nghiệm tạo, ghi chép, thương lượng hoặc duy trì hợp đồng dữ liệu.
  • Có kinh nghiệm ánh xạ dữ liệu mua sắm hoặc hợp đồng sang lược đồ OCDS.
  • Am hiểu sâu các bản phát hành, hồ sơ, lược đồ, danh sách mã, mã định danh, giai đoạn hợp đồng và phương pháp xác thực của OCDS.
  • Có ít nhất ba năm kinh nghiệm thực hành với Databricks.
  • Thành thạo Apache Spark, PySpark, Python, SQL, Delta Lake, quy trình ETL/ELT, mô hình hóa dữ liệu, JSON và JSON Schema, REST API, xác thực chất lượng dữ liệu và ánh xạ nguồn sang đích.
  • Có kinh nghiệm khai thác yêu cầu và chuyển chúng thành đặc tả kỹ thuật có thể triển khai.
  • Giao tiếp rõ ràng với đối tác kỹ thuật và phi kỹ thuật.
  • Có kinh nghiệm chuẩn bị câu chuyện người dùng, tiêu chí chấp nhận, quy tắc nghiệp vụ, từ điển dữ liệu, đặc tả giao diện và tài liệu quy trình.
  • Có kỹ năng phân tích, xử lý sự cố, điều phối và lập tài liệu tốt.
  • Có kinh nghiệm triển khai công việc trong các nhóm Agile.
  • Ưu tiên: có nền tảng về mua sắm chính phủ, hợp đồng khu vực công, tài trợ, mua sắm, dữ liệu nhà cung cấp hoặc tài chính.
  • Ưu tiên: có kinh nghiệm xây dựng phần mở rộng OCDS hoặc điều chỉnh OCDS theo nhu cầu tổ chức.
  • Ưu tiên: quen thuộc với phân loại mua sắm, mã định danh tổ chức, đấu thầu, trao thầu, sửa đổi, mốc, giao dịch và triển khai hợp đồng.
  • Ưu tiên: có chứng chỉ Databricks Certified Data Engineer Associate hoặc Professional.
  • Ưu tiên: có kinh nghiệm với Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, dịch vụ đám mây, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, công cụ xác thực JSON Schema, khung tự động kiểm tra chất lượng dữ liệu, quản lý siêu dữ liệu hoặc dữ liệu chủ, dòng dữ liệu, quản trị dữ liệu tham chiếu, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins hoặc Terraform.
  • Ưu tiên: có kinh nghiệm đóng góp cho các chương trình dữ liệu quy mô lớn của liên bang, tiểu bang, chính quyền địa phương hoặc doanh nghiệp chịu quản lý.
  • Ưu tiên: quen thuộc với yêu cầu liên bang về mua sắm, đấu thầu, báo cáo, minh bạch hoặc dữ liệu mở.
  • Có khả năng tham gia cả thảo luận kỹ thuật và phân tích nghiệp vụ.
  • Nắm vững hợp đồng dữ liệu và trách nhiệm giải trình giữa bên cung cấp và bên sử dụng.
  • Có khả năng chuyển các quy trình mua sắm phức tạp thành cấu trúc dữ liệu và quy tắc chuyển đổi rõ ràng.
  • Cẩn trọng khi diễn giải lược đồ, danh sách mã, định nghĩa nghiệp vụ và yêu cầu xác thực.
  • Có năng lực điều phối các bên liên quan và giải quyết xung đột tốt.
  • Có khả năng phát hiện khoảng trống và điểm mơ hồ trước khi chúng gây ra lỗi kỹ thuật.
  • Cam kết với việc lập tài liệu, truy xuất nguồn gốc, quản trị và chất lượng dữ liệu.
  • Có khả năng làm việc hiệu quả trong một nhóm Databricks lớn, đa chuyên môn.

Phúc lợi

  • Tin tuyển dụng không nêu quyền lợi, phúc lợi bổ sung hoặc khoản thù lao khác.

Việc làm liên quan

Không tìm thấy việc làm

Hãy thử điều chỉnh hoặc xóa bộ lọc để tìm thêm cơ hội.