資深 Databricks 平台工程師
為一家全球保險與資產管理公司建置並營運安全的 Databricks 平台。 工作涵蓋雲端基礎架構、治理、可靠性及 AI 工作負載。
說明
- 在多種雲端環境中設計並營運企業級 Databricks 平台。
- 在 Azure 和／或 AWS 上部署 Databricks 工作區、叢集及平台元件。
- 維護可擴充、安全且高可用性的 Databricks 環境。
- 制定平台標準、架構模式及營運實務。
- 管理 Unity Catalog、Delta Lake 及工作區治理。
- 負責平台生命週期管理、升級及容量規劃。
- 使用 Terraform 配置基礎架構，並將部署與組態管理自動化。
- 設計網路、私有連線及安全整合方案。
- 實作備份、災難復原及高可用性方案。
- 提升雲端資源使用效率並管理平台成本。
- 落實企業安全控制及法規遵循要求。
- 設定角色型存取控制及最低權限模型。
- 管理密鑰、金鑰保存庫整合及加密標準。
- 設定監控、稽核記錄及治理控制。
- 支援法規及資安稽核。
- 監控平台健康狀態、可用性及效能。
- 為基礎架構及資料工作負載建置可觀測性。
- 排解平台、網路及工作負載問題。
- 建立營運手冊及支援流程。
- 主導根因分析及問題修復。
- 與資料、AI 及雲端基礎架構團隊合作。
- 提供平台架構及卓越營運方面的建議。
- 制定工程標準並建立可重複使用的自動化模式。
- 指導工程師並推廣雲端工程實務。
- 支援 Databricks AI 及機器學習環境。
- 支援 MLflow 實驗、模型追蹤及部署。
- 支援 Mosaic AI、Vector Search、Feature Store 及 RAG 架構。
- 協助團隊建置生成式 AI 及大型語言模型解決方案。
- 為 AI 工作負載開發基礎架構及治理方案。
- 評估 Databricks AI 新功能並提出導入建議。
職位要求
- 具備資訊工程、資訊科技、工程或相關領域的學士學位。
- 至少五年雲端、平台或基礎架構工程經驗。
- 至少三年部署及管理 Databricks 環境的實務經驗。
- 具備支援 Azure 和／或 AWS 企業雲端平台的經驗。
- 具備設計安全、可擴充且高可用性雲端解決方案的經驗。
- 熟悉 Databricks 管理、Unity Catalog、Delta Lake、工作區管理、叢集設定與最佳化、工作流程及作業排程。
- 了解 Microsoft Azure 及 Amazon Web Services (AWS)。
- 具備 Terraform 經驗。
- 具備 Azure DevOps 或 GitHub Actions 經驗。
- 具備 CI/CD 管線經驗。
- 具備 PowerShell、Python 或 Bash 指令碼撰寫能力。
- 了解 RBAC、私有端點、VNET/VPC 設計、加密與金鑰管理、身分聯合及密鑰管理。
- 具備 Databricks 監控、Azure Monitor、CloudWatch、Log Analytics、效能調校及容量管理經驗。
- 優先考慮持有 Databricks Certified Platform Administrator、Databricks Certified Data Engineer Professional、Azure Administrator Associate、Azure Solutions Architect 或 AWS Solutions Architect 認證者。
- 優先考慮具備企業 AI 及機器學習平台建置經驗者。
- 優先考慮具備保險或金融服務等受監管產業支援經驗者。
- 希望熟悉 Mosaic AI、MLflow、Databricks Model Serving、Vector Search、Feature Store、RAG、大型語言模型、AI 治理與負責任 AI 實務，以及 AI 賦能的資料工程模式。
福利待遇
- 承包商合作模式（PJ）。
- 混合辦公，每週三天於聖保羅 Pinheiros 辦公室現場工作。
