高级数据工程师 - Databricks 和 AWS（远程）
为联邦政府承包项目构建可扩展的 Databricks 和 AWS 数据管道。在满足 FISMA High 和多租户合规标准的同时，交付可用于分析的数据。
描述
- 在 AWS 托管的 Databricks E2 环境中构建和维护可扩展的数据管道
- 从关系型数据库、API、外部提供商和实时数据流中采集数据
- 创建用于分析和报告的数据清洗、转换及聚合管道
- 在 Databricks 奖章架构中开发和管理 Bronze、Silver 和 Gold 层
- 准备源到目标映射并执行单元测试
- 编写高级 SQL 聚合查询，调查数据异常、质量问题和不一致性
- 使用 AWS DMS 及其他 AWS 原生服务实现实时和近实时数据摄取
- 使用 Python 或 R、Spark、PySpark 和 Pandas 开发数据处理解决方案
- 通过 GitLab 和 CI/CD 管道管理代码、版本控制和部署
- 在敏捷交付环境中与跨职能团队协作
- 遵守 FISMA High 以及多租户安全、治理和监管要求
- 使用 AI 自动化工具支持管道开发、测试、验证和交付
任职要求
- 具备数据工程师或 Databricks 开发人员的实际工作经验，能够构建生产级数据管道
- 熟悉 AWS 上的 Databricks，包括 E2 架构、集群配置、作业编排和工作区管理
- 具备使用 Apache Spark、PySpark 和 Pandas 进行大规模分布式数据处理的实践经验
- 具备较强的 Python 编程能力；有 R 经验者优先
- 具备使用 Databricks Auto Loader 进行可扩展增量文件摄取的经验
- 具备使用 AWS Database Migration Service 实现变更数据捕获和实时复制的实践经验
- 精通 Delta Lake 和 Delta 表，包括架构演进、时间旅行、OPTIMIZE、Z-ORDER 和 VACUUM
- 具备使用 Amazon RDS 及其他关系型数据源进行提取和集成工作流的经验
- 精通高级 SQL，包括复杂连接、窗口函数、聚合和查询性能调优
- 理解奖章架构和现代数据湖仓原则
- 具备使用 GitLab 和 CI/CD 管道自动测试、构建及部署数据工程代码的经验
- 具备参与敏捷或 Scrum 项目的经验
福利待遇
- 具有竞争力的薪酬
- 医疗、牙科、视力、人寿和伤残保险
- 可选的重大疾病、住院和意外保险
- 健康储蓄账户和灵活支出账户
- 401(k) 退休计划
- 带薪休假计划
- 灵活的工作与生活平衡
- 职业发展机会
- 绩效与认可计划
- 协作式工作环境
- 为塞内卡民族成员提供的财务和非财务福利