Databricks高级首席数据工程师
为博思艾伦汉密尔顿的政府客户，主导在 AWS 上开发可扩展的 Databricks 数据管道和模型。 通过亲自带队和指导团队，支持安全的数据处理。
描述
- 在 Databricks 中构建并维护可靠的数据管道。
- 开发并完善端到端数据流。
- 管理提取、转换和加载（ETL）操作。
- 创建数据模型、架构和高效的数据结构。
- 保护数据并支持合规要求。
- 与不同专业领域的团队合作。
- 持续提升数据处理速度和可扩展性。
- 带领并指导分析师、数据工程师、开发人员和数据使用者。
- 指导可扩展客户平台的评估、设计、开发和维护。
- 探索并分析数据，形成可执行的洞察。
任职要求
- 至少 8 年设计、开发、部署和管理 ETL 流程及数据管道的经验，能够实现全面日志记录和稳健的错误处理。
- 至少 3 年使用 Databricks 笔记本、集群和作业编排工具构建、调试和优化数据管道的经验。
- 具备 Delta Lake、Databricks Delta 和 Unity Catalog 相关经验。
- 至少 3 年使用 Python 和 PySpark 编写 ETL 脚本及自定义转换的经验。
- 具备在奖牌架构中创建维度模型和关系数据模型的经验。
- 具备 AWS Glue、Amazon S3 和 Amazon RDS 使用经验。
- 了解 ETL 性能优化，包括分区、分桶和缓存。
- 能够从架构定义到数据结构优化设计数据模型。
- 须符合 Public Trust（公共信任）要求。
- 拥有计算机科学、计算机工程、工程、数学、物理、信息系统或信息技术学士学位。
- 入选者将接受政府调查，并可能需要满足美国政府客户设定的资格要求。
- 须获得 Public Trust（公共信任）认定。
福利待遇
- 医疗保障。
- 人寿保险福利。
- 伤残福利。
- 财务福利。
- 退休福利。
- 带薪休假。
- 职业发展机会。
- 学费援助。
- 工作与生活平衡项目。
- 受抚养人护理福利。
- 对表现出色并充分践行公司价值观的员工给予表彰奖励。