資深資料工程師，Databricks 與 AI 資料平台
為一家全球保險與資產管理公司主導 Databricks 資料平台的設計。支援雲端分析、人工智慧與機器學習、治理及企業現代化。
說明
- 運用 Databricks、Spark 和雲端技術設計並維護可擴充的資料管線。
- 建置並最佳化批次與即時資料擷取架構。
- 為企業級資料解決方案建立可重複使用的工程模式與加速工具。
- 在整個資料生態系統中實施資料品質、可觀測性、資料沿襲和治理。
- 支援大規模資料現代化與雲端遷移計畫。
- 設計 Delta Lake 架構與 Medallion 資料模型。
- 使用 Databricks 筆記本、工作流程和 Delta Live Tables 開發最佳化的 ETL 與 ELT 管線。
- 制定效能調校、成本最佳化和工作負載管理實務。
- 使用 Unity Catalog 管理資料治理、安全性和中繼資料。
- 為 Databricks 部署實施 CI/CD 管線與基礎架構即程式碼。
- 為 Azure 和 AWS 設計雲端原生資料架構。
- 整合 SQL Server、Oracle、API、SaaS 和串流平台等企業資料來源。
- 建置具備高可用性與災難復原能力的韌性安全資料服務。
- 與基礎架構和安全團隊合作，套用雲端安全控制措施與合規標準。
- 為人工智慧、機器學習和生成式人工智慧工作負載建置並最佳化資料產品。
- 開發特徵工程管線和整理過的資料集，以支援模型訓練與推論。
- 支援向量資料庫、語意搜尋、檢索增強生成和大型語言模型應用。
- 與資料科學家和 AI 工程師合作，讓機器學習解決方案投入實際運作。
- 運用 MLOps 和 DataOps 實務，支援可擴充的 AI 交付。
- 主導複雜的資料工程計畫。
- 制定架構標準、工程實務和開發準則。
- 指導初階和中階工程師。
- 審查架構並提供技術建議。
- 推動自動化、可觀測性和平台工程實務。
職位要求
- 具備電腦科學、資訊科技、工程或相關領域的學士學位。
- 至少 8 年資料工程、資料倉儲或資料平台開發經驗。
- 至少 5 年 Databricks 和 Apache Spark 實務操作經驗。
- 具備設計與實作企業規模雲端資料平台的經驗。
- 具備主導技術計畫並指導工程團隊的經驗。
- 具備 Databricks、Apache Spark（PySpark 和 Spark SQL）、Delta Lake、Delta Live Tables、Unity Catalog、資料倉儲和資料建模經驗。
- 具備 Python、SQL，以及 PowerShell 或指令碼自動化經驗。
- 具備 Microsoft Azure、AWS 及雲端原生儲存與運算服務經驗。
- 具備 SQL Server、Oracle、PostgreSQL 和資料庫相關經驗。
- 具備 Azure Data Factory、Databricks Workflows、Kafka 或事件串流，以及 REST API 經驗。
- 具備 GitHub、Azure DevOps、CI/CD 管線、Terraform 和基礎架構即程式碼經驗。
- 了解監控與告警工具、資料品質架構、效能最佳化、記錄和疑難排解。
- 了解機器學習資料管線、特徵儲存、MLOps、生成式人工智慧概念、向量資料庫、檢索增強生成、AI 治理和負責任人工智慧原則。
- 優先考慮持有以下認證者：Databricks Certified Data Engineer Professional、Azure Data Engineer Associate 或 AWS Data Analytics。
- 優先考慮具備受監管產業、企業資料治理計畫和正式環境 AI 整合經驗者。
- 具備策略思考、問題解決、技術領導、架構設計、利害關係人管理、溝通與簡報能力、持續改善、創新與 AI 導入，以及風險與合規意識。
福利待遇
- 合作形式：獨立承包商（Pessoa Jurídica，PJ）。
- 混合辦公，可選擇部分時間遠端工作。