数据工程师（Python 与 AWS）
为 540 的美国陆军财务系统现代化项目构建 Python 和 AWS 数据管道。 助力提升数据转换与治理的安全性和可扩展性。
描述
- 在软件开发生命周期内构建并排查可靠的数据管道。
- 协助美国陆军旧版财务系统现代化，并将工作负载迁移至 AWS。
- 创建 Python 工作流，用于采集、转换、验证并交付结构化和半结构化数据。
- 使用 AWS Glue、Lambda、S3 和 CloudWatch 开发云原生解决方案。
- 连接来自多个系统、API 和文件格式的数据。
- 处理大型数据集，提升管道的性能和可扩展性。
- 参与数据集成、存储、性能和可扩展性的技术设计。
- 添加自动化测试、日志记录、监控和错误处理。
- 运用软件工程和 DataOps 实践编写易维护、可复用的代码。
- 与工程师、架构师及利益相关方合作，将需求转化为软件。
- 支持安全的数据处理、访问控制、治理及国防部（DoW）合规工作。
- 参与代码审查和敏捷开发。
- 记录数据转换、管道流程和技术决策。
- 改进工作流、减少人工操作并增强陆军的数据生态系统。
任职要求
- 在美国本土（不含阿拉斯加和夏威夷）远程工作，按照美东时间工作，并保留一定灵活性。
- 能够偶尔出差，每年约三至四次。
- 为美国公民，并能够获得国防部（DoW）秘密级安全许可。
- 拥有至少两年数据工程、软件开发、数据集成或相关领域的经验。
- 具备创建 Python 数据转换、脚本或工作流自动化的经验。
- 具备构建、维护或排查数据管道及 ETL/ELT 流程的实际经验。
- 具备使用 API，以及处理 X12、JSON、平面文件或定宽文件的经验。
- 具备 AWS 使用经验，尤其是 Glue、Lambda、S3 和 CloudWatch Logs。
- 熟悉大型数据集以及数据处理或性能方面的挑战。
- 理解数据结构、数据建模以及数据的组织和转换。
- 具备使用 Pytest 或类似框架编写和维护自动化测试的经验。
- 熟悉数据验证、错误处理、日志记录和调试。
- 理解数据安全、访问控制和数据质量原则。
- 具备使用 GitLab 进行版本控制和协作开发的经验。
- 能够熟练使用终端或命令行界面。
- 具备在敏捷环境中使用 Jira 和 Confluence 的经验。
- 能够解读含义不明确的需求、文件规范和 JSON 结构。
- 具备出色的问题解决能力，并能与技术及非技术利益相关方合作。
- 持有 AWS Cloud Practitioner 或更高级别认证，或能够在入职后 30 天内取得认证。
- 持有 CompTIA Security+ 或更高级别认证，或能够在入职后 30 天内取得认证。
- 优先考虑拥有计算机科学或相关工程领域学士学位者。
福利待遇
- 健康、牙科和视力保险。
- 灵活支出账户（FSA）。
- 提供雇主配比缴款的 401(k) 退休计划。
- 公司支付的人寿保险，以及短期和长期伤残保险。
- 灵活的带薪休假，联邦法定假日休息。
- 通过培训、认证和会议支持职业发展。
- 提供付费的云开发者账户。
- 推荐奖金。
- 总部福利包括停车费或地铁通勤费用报销、氮气咖啡和午餐。
- 年度社交活动，包括 540 Week、黑客马拉松和慈善高尔夫锦标赛。
- 可使用华盛顿首都队和国民队的比赛门票。