資深資料工程師 - Databricks 與 AWS（遠端）
為聯邦政府承包專案建置可擴充的 Databricks 與 AWS 資料管道。在符合 FISMA High 與多租戶合規標準的同時，交付可供分析的資料。
說明
- 在 AWS 託管的 Databricks E2 環境中建置和維護可擴充的資料管道
- 從關聯式資料庫、API、外部供應商和即時資料流取得資料
- 建立用於分析和報表的資料清理、轉換及彙總管道
- 在 Databricks 獎章架構中開發和管理 Bronze、Silver 和 Gold 層
- 準備來源到目標的對應並執行單元測試
- 撰寫進階 SQL 彙總查詢，調查資料異常、品質問題和不一致性
- 使用 AWS DMS 及其他 AWS 原生服務實作即時和近即時資料擷取
- 使用 Python 或 R、Spark、PySpark 和 Pandas 開發資料處理解決方案
- 透過 GitLab 和 CI/CD 管道管理程式碼、版本控制和部署
- 在敏捷交付環境中與跨職能團隊合作
- 遵守 FISMA High 以及多租戶安全性、治理和法規要求
- 使用 AI 自動化工具支援管道開發、測試、驗證和交付
職位要求
- 具備資料工程師或 Databricks 開發人員的實務經驗，能夠建置生產環境資料管道
- 熟悉 AWS 上的 Databricks，包括 E2 架構、叢集設定、工作編排和工作區管理
- 具備使用 Apache Spark、PySpark 和 Pandas 進行大規模分散式資料處理的實務經驗
- 具備良好的 Python 程式設計能力；具備 R 經驗者佳
- 具備使用 Databricks Auto Loader 進行可擴充增量檔案擷取的經驗
- 具備使用 AWS Database Migration Service 實現變更資料擷取和即時複寫的實務經驗
- 精通 Delta Lake 和 Delta 資料表，包括結構描述演進、時間旅行、OPTIMIZE、Z-ORDER 和 VACUUM
- 具備使用 Amazon RDS 及其他關聯式來源進行擷取和整合工作流程的經驗
- 精通進階 SQL，包括複雜連接、視窗函數、彙總和查詢效能調校
- 理解獎章架構和現代資料湖倉原則
- 具備使用 GitLab 和 CI/CD 管道自動化測試、建置及部署資料工程程式碼的經驗
- 具備參與敏捷或 Scrum 專案的經驗
福利待遇
- 具競爭力的薪酬
- 醫療、牙科、視力、人壽和失能保險
- 可選的重大疾病、住院和意外保險
- 健康儲蓄帳戶和彈性支出帳戶
- 401(k) 退休計畫
- 帶薪休假方案
- 彈性的工作與生活平衡
- 專業發展機會
- 績效與表揚方案
- 協作式工作環境
- 提供給塞內卡民族成員的財務和非財務福利
