資深資料工程師—印度遠端
負責設計以 Azure 為基礎的資料平台、資料管線與整合方案，支援企業分析與 AI/ML。此資深職位服務於一家專注於生命科學與醫療保健的組織。
說明
- 使用 Azure Databricks、PySpark、Azure Data Factory 與 Azure SQL 設計並交付端到端資料解決方案
- 建置並維護涵蓋來源系統、資料整合與資料使用的資料管線
- 在資料湖中套用青銅層、白銀層與黃金層建模標準
- 建立概念、邏輯與實體資料模型
- 調校 Spark 與 SQL 工作負載，以提升擴充性、效能與成本效益
- 使用資料準備、資料整合與 AI 支援工具維護中繼資料
- 將資料整合與可重複的資料準備流程自動化
- 開發 REST/JSON API 整合與即時資料擷取架構
- 透過 Azure DevOps 與以 Git 為基礎的 CI/CD 自動化交付流程
- 為資料擷取與轉換管線建立可重複使用的範本
- 建立自動化單元測試、回歸測試與整合測試架構
- 為商業智慧、報表與進階分析準備並整理資料集
- 與分析團隊合作建立語意模型與關鍵績效指標
- 開發經過效能最佳化的自助式分析模型
- 在需要時為終端使用者提供資料視覺化支援
- 主導技術設計審查並指導初階工程師
- 與跨職能團隊、業務分析師及利害關係人蒐集並完善資料需求
- 讓資料工程計畫與業務及 IT 目標保持一致
- 支援架構藍圖並評估新興技術
- 找出營運效率不佳之處，並向高階主管提出改善建議
職位要求
- 資訊工程、資訊系統、工程或相關領域學士學位
- 具備五至八年設計與開發企業級資料解決方案的經驗
- 精通 Databricks、Azure Fabric、PySpark、SQL 與 Azure DevOps
- 具備 Azure Data Factory、ADLS Gen2 與 Azure SQL Server 的實務經驗
- 深入了解 Microsoft Azure 資料架構，包括資料倉儲、資料湖與資料目錄
- 具備 Power BI 經驗；擁有 Tableau 或 Looker 經驗者尤佳
- 了解 CI/CD 自動化、Git，以及使用 ARM、Bicep 或 Terraform 實作基礎架構即程式碼
- 了解 GxP、GDPR/HIPAA，以及相關 CFR、CTR 與 CTD 法規
- 具備與 IT 及業務利害關係人合作，並將分析與資料科學成果嵌入業務流程和工作流程的實績
- 具備良好的書面與口頭溝通能力
- 能夠獨立作業並與團隊合作，同時在關鍵期限內完成工作