软件工程高级总监（数据工程）
带领 Circana 的 Azure 数据工程团队，助力这家全球市场情报公司推进数据建设。 打造可扩展的 Spark 数据管道，并引导 AI 辅助工程实践。
描述
- 使用 Python、PySpark 和 Airflow 创建并优化可扩展的数据工作流
- 使用 Spark 实时及批量处理数据
- 在数据生命周期各阶段落实数据质量、治理和安全实践
- 通过监控和自动化保障数据的可用性、可靠性和性能
- 管理云基础设施并控制数据处理工作负载的成本
- 为数据工作流构建 CI/CD 管道
- 使用 Apache Spark 和 PySpark 开发并改进大规模处理管道
- 通过分区、缓存和性能优化调整 Spark 工作负载
- 使用结构化和非结构化数据开展分析与机器学习项目
- 创建并维护 Airflow DAG，自动化复杂工作流
- 监控、排查并改进作业执行及其依赖关系
- 领导并指导数据工程师，提供技术方向
- 推动遵循编码规范、使用版本控制并做好文档记录
- 直接与客户沟通，了解业务需求并解释技术概念
- 与工程、产品和架构团队合作，构建可扩展且易于维护的产品
- 与项目管理团队协调交付时间安排和风险缓解
任职要求
- 至少 8 年数据工程经验
- 精通 Python、PySpark、Apache Spark 和 Apache Airflow
- 具备扎实的 Python 和 SQL 编程能力
- 能够编写高效且易于维护的代码
- 深入了解 Spark 内部机制，包括 RDD、DataFrame、DAG 执行和分区
- 具备创建 Airflow DAG 以及管理调度和依赖关系的经验
- 了解 Git、Docker、Kubernetes、Terraform 以及用于 CI/CD 工作流的 DevOps 实践
- 具备大规模数据处理优化经验
- 具备团队领导经验，并有在敏捷或 Scrum 环境中工作的经验
- 具备常见数据仓库或数据湖平台的使用经验
- 了解 Azure、AWS 或 Google Cloud 等云技术
- 有在软件开发、数据工程、系统设计、测试和故障排查中使用生成式 AI 工具的实践经验
- 深入理解 AI 辅助工程，包括提示词工程、代码生成、自动化测试和 AI 驱动的效率提升工作流
- 能够发现利用 AI 提升团队效率、代码质量和运营效率的方式
- 具备机器学习工程经验者优先
- 具备良好的沟通与协作能力
- 能够与远程团队有效合作
- 候选人可能需要同意接受背景调查
福利待遇
- 灵活且包容的工作环境
- 带薪休假
- 医疗、牙科和视力保险
- 401(k) 退休计划
- 符合奖金发放资格
- 致力于多元化、公平与包容
- 为残障申请人提供无障碍便利
- 按照当地法律进行背景调查
- 未经许可，不会联系现任雇主
相关职位
