Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services 是一家技術顧問與服務公司,協助公部門和私部門組織管理並改善其 IT 環境。業務範圍涵蓋企業績效管理、架構設計、專案管理、基礎架構與應用程式管理,以及代管服務。公司也與 AppDynamics、BigPanda、Datadog 和 AWS 合作,提供效能監控、事件關聯與自動化、雲端監控及 IT 服務管理方面的服務。Scicom 為全球基礎架構提供全天候營運支援。公司簡介提及團隊涉足企業級、SaaS 和 B2B 技術;職務與招募詳情請參閱目前的職缺。

Databricks 資料工程師,OCDS 資料契約

連結採購相關人士與工程團隊,為大型 Databricks 計畫定義資料契約。 建置符合 OCDS 的資料管道與控管機制,確保契約資料可靠且標準化。

說明

  • 在大型 Databricks 導入計畫中協調業務、契約、治理與工程團隊。
  • 主持採購、計畫、分析、治理及技術相關人士的需求工作坊。
  • 建立並維護資料契約,定義資料產製者與使用者如何交換資料。
  • 將業務需求轉化為使用者故事、驗收條件、流程、對應、介面規格及工程需求。
  • 分析來源系統、檢視資料概況、評估差距,並將來源欄位對應至目標結構。
  • 比較目前的採購資料與 OCDS 要求的結構。
  • 促使資料擁有者、產製者、使用者、架構師及治理團隊達成共識。
  • 追蹤需求從資料建模、實作、測試到驗收的進度。
  • 評估提議的變更對資料產品、報表、整合及分析使用情境的影響。
  • 協助準備並進行待辦事項檢視、衝刺規劃、展示、測試及相關人士驗收。
  • 從規劃到實作各階段,將 OCDS 應用於採購及公共契約資料。
  • 維護 OCDS 發布版本、紀錄、套件、識別碼、組織、參與者、項目、里程碑、文件、交易、修訂及相關元素的對應。
  • 使用 OCDS 結構描述、代碼清單、驗證規則及實作指引。
  • 判斷何時需要 OCDS 擴充,並記錄相關假設、規則、對應、例外及擴充內容。
  • 依據交易發布資料建立契約紀錄,並定義修訂、更新、取消、更正及歷史變更的處理方式。
  • 依 OCDS JSON 結構描述檢查轉換後的資料,並修正採購資料中缺漏、無效、不一致或不符合規範之處。
  • 支援標準化契約資料的發布、交換、分析或內部使用。
  • 使用 Apache Spark、PySpark、Python 及 SQL 建置、測試和維護 Databricks 管道。
  • 從 JSON、CSV、XML、Parquet、資料庫、API 及檔案擷取並轉換結構化與半結構化採購資料。
  • 採用 medallion 架構建立 Bronze、Silver 及 Gold 層。
  • 開發正規化、維度、分析及以 OCDS 為基礎的資料模型。
  • 使用 Delta Lake 強制套用並演進結構描述、管理版本、支援稽核,並可靠地處理資料。
  • 建立可重複使用的方法,將來源採購資料轉換為符合 OCDS 的輸出。
  • 建置批次及增量資料擷取流程。
  • 使用合適的 Databricks 工具,包括 Workflows、筆記本、作業、Auto Loader、Delta Live Tables 或 Lakeflow。
  • 建置 REST API 連線,以擷取來源資料並將資料交付至下游。
  • 自動執行資料品質、核對、完整性及符合性檢查。
  • 協助實作 Unity Catalog,以管理中繼資料、擁有權、資料沿革、存取控制及資料探索。
  • 改善 Spark 作業、SQL 查詢、叢集、分割、檔案大小及資料配置。
  • 參與程式碼檢視、自動化測試、CI/CD、部署、監控及正式環境支援。
  • 診斷管道故障、資料不相符及效能問題。
  • 制定可衡量資料正確性、完整性、有效性、時效性、一致性及唯一性的規則。
  • 為 OCDS 欄位、識別碼、日期、金額、幣別、組織、分類及契約關係建立驗證控管。
  • 建立儀表板或報表,呈現資料契約合規情況及資料品質結果。
  • 建立偵測和管理結構描述漂移的方法。
  • 追蹤採購資料經 Databricks 轉換後流向下游產品的資料沿革。
  • 與治理團隊合作,定義擁有者、管理者、分類、保留期限及存取政策。
  • 依據安全與隱私要求處理敏感採購及供應商資料。
  • 透過記錄規則、版本化對應、驗證結果及變更歷史,維護稽核軌跡。

職位要求

  • 具備電腦科學、資訊系統、資料分析、商業分析、工程、公共行政、供應鏈管理或相關領域的學士學位。
  • 至少五年資料工程、資料分析、商業分析或資料整合的綜合經驗。
  • 具備實作或使用開放契約資料標準(OCDS)的實務經驗。
  • 具備建立、記錄、協商或維護資料契約的經驗。
  • 具備將採購或契約資料對應至 OCDS 結構描述的經驗。
  • 熟悉 OCDS 發布版本、紀錄、結構描述、代碼清單、識別碼、契約階段及驗證方法。
  • 至少三年 Databricks 實務操作經驗。
  • 精通 Apache Spark、PySpark、Python、SQL、Delta Lake、ETL/ELT 管道、資料建模、JSON 與 JSON Schema、REST API、資料品質驗證及來源至目標對應。
  • 具備蒐集需求並轉化為可執行工程規格的經驗。
  • 能與技術及非技術合作夥伴清楚溝通。
  • 具備撰寫使用者故事、驗收條件、業務規則、資料字典、介面規格及流程文件的經驗。
  • 具備良好的分析、疑難排解、引導及文件撰寫能力。
  • 具備在敏捷團隊中交付工作的經驗。
  • 優先:具備政府採購、公共部門契約、補助、採購、供應商或財務資料背景。
  • 優先:具備建立 OCDS 擴充或依組織需求調整 OCDS 的經驗。
  • 優先:熟悉採購分類、組織識別碼、招標、決標、修訂、里程碑、交易及契約執行。
  • 優先:具備 Databricks Certified Data Engineer Associate 或 Professional 認證。
  • 優先:具備以下一項或多項經驗:Unity Catalog、Delta Live Tables、Lakeflow、Databricks Workflows、Structured Streaming、雲端服務、Azure Data Factory、ADLS Gen2、AWS Glue、Amazon S3、Snowflake、dbt、Kafka、Airflow、Power BI、JSON Schema 驗證工具、自動化資料品質框架、中繼資料或主資料管理、資料沿革、參考資料治理、CI/CD、Git、Azure DevOps、GitHub Actions、Jenkins 或 Terraform。
  • 優先:具備參與大型聯邦、州、地方政府或受監管企業資料計畫的經驗。
  • 優先:熟悉聯邦採購、採購管理、報告、透明度或開放資料要求。
  • 能參與工程與商業分析討論。
  • 深入理解資料契約及產製者與使用者各自應負的責任。
  • 能將複雜的採購流程轉化為清楚的資料結構與轉換規則。
  • 謹慎解讀結構描述、代碼清單、業務定義及驗證要求。
  • 具備良好的相關人士引導及衝突解決能力。
  • 能在造成工程缺陷前找出缺口與歧義。
  • 重視文件、可追溯性、治理及資料品質。
  • 能在大型跨領域 Databricks 團隊中有效工作。

福利待遇

  • 徵才資訊未說明福利、津貼或額外薪酬。

相關職缺

找不到職缺

嘗試調整或清除篩選條件,以查看更多機會。