Databricks資深首席資料工程師
為博思艾倫漢密爾頓的政府客戶，主導在 AWS 上開發可擴充的 Databricks 資料管線與模型。 透過親自帶領與指導團隊，支援安全的資料處理。
說明
- 在 Databricks 中建置並維護可靠的資料管線。
- 開發並完善端對端資料流程。
- 管理擷取、轉換及載入（ETL）作業。
- 建立資料模型、結構描述及高效率的資料結構。
- 保護資料並支援合規要求。
- 與不同專業領域的團隊合作。
- 持續提升資料處理速度與可擴充性。
- 帶領並指導分析師、資料工程師、開發人員及資料使用者。
- 主導可擴充客戶平台的評估、設計、開發與維護。
- 探索並分析資料，產出可行的洞察。
職位要求
- 至少 8 年設計、開發、部署及管理 ETL 流程與資料管線的經驗，並具備完整的記錄功能及穩健的錯誤處理能力。
- 至少 3 年使用 Databricks 筆記本、叢集及工作協調工具建置、除錯與最佳化資料管線的經驗。
- 具備 Delta Lake、Databricks Delta 及 Unity Catalog 相關經驗。
- 至少 3 年使用 Python 和 PySpark 撰寫 ETL 指令碼及自訂轉換的經驗。
- 具備在獎牌架構中建立維度與關聯式資料模型的經驗。
- 具備 AWS Glue、Amazon S3 及 Amazon RDS 使用經驗。
- 了解 ETL 效能最佳化，包括分割、分桶及快取。
- 能夠從結構描述定義到資料結構最佳化設計資料模型。
- 須符合 Public Trust（公共信任）要求。
- 擁有電腦科學、電腦工程、工程、數學、物理、資訊系統或資訊科技學士學位。
- 入選者將接受政府調查，且可能需要符合美國政府客戶設定的資格要求。
- 須取得 Public Trust（公共信任）認定。
福利待遇
- 醫療保障。
- 人壽保險福利。
- 失能福利。
- 財務福利。
- 退休福利。
- 帶薪假。
- 專業發展機會。
- 學費補助。
- 工作與生活方案。
- 受扶養人照護福利。
- 表揚表現優異且充分展現公司價值觀的員工。