
Acuity 資深資料工程師 — 愛爾蘭科克(現場辦公)
為 Acuity 的工業技術業務建置 Databricks 與 Azure 湖倉管線。 打造可靠的資料產品,支援報表、分析、人工智慧及下游應用。
說明
- 使用 Databricks、Python/PySpark、SQL、Delta Lake 與 Azure,建置並最佳化可擴充的 ETL/ELT 管線。
- 透過批次與串流工作流程,從資料庫、API、檔案、SaaS 應用程式及事件來源擷取資料。
- 採用中繼資料驅動與設定驅動的方法,開發可重複使用的 bronze、silver 與 gold 資料集。
- 實作增量處理、結構描述演進、錯誤處理、復原、核對及稽核控制。
- 套用資料品質規則、測試、資料沿革及監控,產出可信賴的資料產品。
- 與架構師、分析師及業務團隊合作,定義來源至目標的對應、業務規則及驗收條件。
- 為 Power BI、企業報表、分析、資料科學、人工智慧及下游應用準備高效能資料集。
- 改善管線、SQL、Spark 工作負載、儲存及資料表設計的可靠性與效能,並控制成本。
- 使用 Git 與 Azure DevOps 管理待辦事項、使用者故事、分支、提取要求、CI/CD、發布及可追溯性。
- 撰寫單元、整合及核對測試,並參與設計與程式碼審查。
- 監控正式環境管線、處理事件、調查根本原因並記錄營運程序。
- 開發可重複使用的元件與工程標準、指導同事,並支援 DCoE 資料團隊持續改進。
職位要求
- 至少 5–6 年資料工程實務經驗,能建置正式環境管線與資料產品。
- 熟悉 Databricks、Azure Data Lake、Delta Lake、Python/PySpark 與 SQL。
- 深入了解 ETL/ELT、資料整合、湖倉架構,以及 bronze、silver、gold 設計模式。
- 具備資料品質、核對、結構描述管理、協調、效能調校及正式環境支援經驗。
- 了解報表與分析,包括 Power BI 或類似 BI 工具如何使用整理後的資料。
- 具備敏捷交付、Git、CI/CD、DevOps 實務及 Azure DevOps 的實際經驗。
- 具備電腦科學、資訊系統、工程或相關領域學士學位,或同等實務經驗。
- 持有 Databricks 或 Microsoft Azure 認證。
- 具備供應鏈、製造、ERP、營運或工業資料相關工作經驗。
- 具備串流處理、Unity Catalog、中繼資料驅動架構、資料治理或 AI/ML 資料準備經驗。
- 具備優秀的分析能力與有條理的問題解決能力。
- 能清楚地與技術及業務對象溝通。
- 善於合作且具備高度責任感。
- 能兼顧品質、速度、可維護性及營運需求。
- 能指導工程師,並透過設計與程式碼審查及可重複使用的工程實務改善標準。
福利待遇
- 醫療保險保障
- 牙科保障
- 視力照護計畫
- 401(k) 福利
- 依職務而定的佣金或獎勵性薪酬
相關職缺
