資料工程師(Python 與 AWS)
為 540 的美國陸軍財務系統現代化計畫建置 Python 與 AWS 資料管線。 協助提升資料轉換與治理的安全性及擴充性。
說明
- 在軟體開發生命週期中建置並排除可靠資料管線的問題。
- 協助美國陸軍舊版財務系統現代化,並將工作負載移轉至 AWS。
- 建立 Python 工作流程,以擷取、轉換、驗證並交付結構化及半結構化資料。
- 使用 AWS Glue、Lambda、S3 和 CloudWatch 開發雲端原生解決方案。
- 串接來自多個系統、API 和檔案格式的資料。
- 處理大型資料集,提升管線效能與擴充性。
- 參與資料整合、儲存、效能及擴充性的技術設計。
- 加入自動化測試、日誌記錄、監控及錯誤處理。
- 運用軟體工程和 DataOps 實務,撰寫易於維護且可重複使用的程式碼。
- 與工程師、架構師及利害關係人合作,將需求轉化為軟體。
- 支援安全資料處理、存取控制、治理及國防部(DoW)合規工作。
- 參與程式碼審查及敏捷開發。
- 記錄資料轉換、管線流程及技術決策。
- 改善工作流程、減少人工操作,並強化陸軍的資料生態系。
職位要求
- 在美國本土(不含阿拉斯加和夏威夷)遠端工作,配合美東時間並保有一定彈性。
- 可偶爾出差,每年約三至四次。
- 為美國公民,且能取得國防部(DoW)機密級安全許可。
- 具備至少兩年資料工程、軟體開發、資料整合或相關領域經驗。
- 具備建立 Python 資料轉換、指令碼或工作流程自動化的經驗。
- 具備建置、維護或排除資料管線及 ETL/ELT 流程問題的實務經驗。
- 具備使用 API,以及處理 X12、JSON、純文字或固定欄寬檔案的經驗。
- 具備 AWS 實務經驗,尤其是 Glue、Lambda、S3 和 CloudWatch Logs。
- 熟悉大型資料集,以及資料處理或效能方面的挑戰。
- 了解資料結構、資料模型,以及資料的組織與轉換。
- 具備使用 Pytest 或類似架構編寫及維護自動化測試的經驗。
- 熟悉資料驗證、錯誤處理、日誌記錄及除錯。
- 了解資料安全、存取控制及資料品質原則。
- 具備使用 GitLab 進行版本控制和協作開發的經驗。
- 能熟練使用終端機或命令列介面。
- 具備在敏捷環境中使用 Jira 和 Confluence 的經驗。
- 能解讀不明確的需求、檔案規格及 JSON 結構。
- 具備優秀的問題解決能力,並能與技術及非技術利害關係人合作。
- 持有 AWS Cloud Practitioner 或更高級別認證,或能於到職後 30 天內取得認證。
- 持有 CompTIA Security+ 或更高級別認證,或能於到職後 30 天內取得認證。
- 具備電腦科學或相關工程領域學士學位者優先。
福利待遇
- 健康、牙科及視力保險。
- 彈性支出帳戶(FSA)。
- 提供雇主提撥配比的 401(k) 退休計畫。
- 公司支付的人壽保險,以及短期和長期失能保險。
- 彈性帶薪休假,聯邦假日休假。
- 透過訓練、認證及會議支持專業發展。
- 提供付費雲端開發者帳戶。
- 推薦獎金。
- 總部福利包括停車或地鐵費用補助、氮氣咖啡和午餐。
- 年度社交活動,包括 540 Week、黑客松及慈善高爾夫錦標賽。
- 可使用華盛頓首都隊和國民隊的門票。
