資深 Databricks 工程師，機器學習與分析（遠端—美國）
負責美國退伍軍人事務部工作負載的 Azure Databricks 遷移與交付，涵蓋機器學習和分析領域。 建置受治理的資料管線、正式環境機器學習工作流程，以及面向退伍軍人事務團隊的報告解決方案。
說明
- 與美國退伍軍人事務部團隊合作，定義使用案例、規劃遷移並交付 Databricks 解決方案
- 評估內部部署 SQL Server、SSIS、預存程序和排程工作負載，並將其調整至 Azure Commercial Databricks 模式
- 使用 PySpark、Spark SQL、Delta Lake、Lakeflow 和 Azure Data Factory 開發與最佳化資料管線
- 透過 Unity Catalog 存取控制、資料血緣和共用功能治理客戶資料
- 透過工作坊、結對交付和實用文件促進客戶採用
- 使用 Git、CI/CD 和 Databricks Asset Bundles 建立可重複使用的範本與程式碼
- 開發完整的機器學習工作流程，涵蓋特徵工程、模型訓練、評估、MLflow 追蹤、Unity Catalog 模型註冊和模型服務
- 協助資料科學家將模型部署至受治理且受監控的正式環境
- 支援生成式 AI 計畫，包括檢索增強生成和代理程式解決方案
- 將 SSIS 和預存程序 ETL 遷移至經過核對的 Databricks 管線
- 使用 Databricks SQL、AI/BI 儀表板和 Power BI 現代化內部部署報告
- 從 Databricks SQL 倉庫發佈報告資料集，包括語意模型和查詢效能最佳化
職位要求
- 具備至少 7 年資料工程經驗，其中至少 2 年負責交付正式環境 Databricks 工作負載
- 精通 Python、SQL、PySpark 和 Spark SQL
- 具備 Delta Lake、分層湖倉架構和 Spark 效能最佳化方面的實務經驗
- 具備 Unity Catalog 實務經驗，熟悉目錄、授權、資料血緣以及資料列層級和資料欄層級安全性
- 曾將 SQL Server、SSIS 和預存程序等內部部署系統遷移至雲端平台
- 了解 ADLS Gen2、Azure Data Factory、Entra ID 和 Key Vault 等 Azure 服務
- 使用 Git、CI/CD 以及 Databricks Asset Bundles 和 Terraform 等基礎架構即程式碼工具
- 具備面向客戶的顧問或專業服務經驗，參與過需求會議、工作坊和培訓
- 能以書面和口頭形式與技術及非技術利害關係人清楚溝通
- 擁有電腦科學、資訊系統或相關領域的學士學位
- 是美國公民
- 能夠取得公共信任安全許可
- 具備在美國工作的資格
- 針對 AI/ML 方向，具備使用 MLflow 及 scikit-learn、XGBoost 或 PyTorch 等框架訓練、評估和部署模型的經驗
- 針對分析方向，了解 Databricks SQL 和 Power BI 資料建模，包括星型結構、語意模型和 DAX
- 具備 Databricks 認證、醫療保健資料和 HIPAA 經驗、Azure Government 或 FedRAMP High 經驗、從 Hive metastore 升級至 Unity Catalog 的經驗、Mosaic AI Vector Search、Agent Framework 或模型監控經驗，以及熟悉 Microsoft Fabric、Pyramid Analytics 或 Genie 者優先
福利待遇
- 具競爭力的薪酬方案
- 優渥的年假和帶薪假日
- 完整的團體醫療和牙科保險
- 提供雇主配對提撥的 401(k) 計畫
- 人壽保險以及意外身故和失能保險
- 持續教育和專業發展機會