高级数据工程师，数据与分析 – 浦那混合办公
负责 Pattern Bioscience 的广告优化数据系统，包括特征存储和机器学习推理工作流。 维护面向市场广告 API 的可靠且经过质量控制的竞价与预算更新。
描述
- 构建、部署并支持可扩展的自动化批处理管道，将多种来源的数据摄取到湖仓中
- 管理并增强 Airflow 编排的每日及每 15 分钟运行的多 DAG 工作流，涵盖依赖关系、重试、回填、全量刷新和安全重跑
- 使用宽表连接、窗口函数、增量合并、仓库规模配置和查询分析来开发并优化分析 SQL
- 向特征存储添加特征和标签，同时遵循既有的数据泄漏防范和数据完整性标准
- 通过 Airflow 协调 SageMaker 模型训练和批量推理，包括数据集、S3 与 Parquet 传输、训练镜像、实例规格、预测结果和指标
- 制定数据审计方案，并在外部写入前执行阻断式质量检查
- 诊断并解决大规模数据处理问题，调查故障并参与值班分诊
- 确保市场更新具备幂等性、新数据检测、操作验证、失效处理和审计轨迹
- 与数据科学家、广告策略师和平台工程团队合作
- 将 ROAS 目标、预算节奏控制、操作手册规则和广告策略转化为可靠的数据模型和管道
- 负责所分配领域的数据质量，并与数据基础设施团队协调问题解决
- 指导数据工程师，提供技术建议，并审查 SQL 和 DAG 变更
任职要求
- 数据科学、数据分析、信息管理、计算机科学、信息技术、相关专业的学士学位，或同等专业经验
- 至少四年整体专业工作经验
- 至少四年 SQL 和 Python 实际开发经验，包括高级 SQL
- 至少三年在现代数据架构上构建生产数据管道的经验
- 至少两年使用 Snowflake、Amazon Redshift 或 BigQuery 等云数据仓库的经验
- 具备工作流编排器的专业经验；强烈优先考虑 Airflow
- 具备通过 SageMaker 或类似平台调度机器学习训练和批量推理的经验
- 理解应用机器学习概念，包括数据集构建、数据泄漏、评估指标和模型生命周期运维
- 具备实际 AWS 经验，包括至少 S3 和 IAM，并熟悉列式文件格式
- 通过测试、监控、告警和根因分析，切实负责数据质量
- 具备良好的软件工程和脚本编写实践，包括版本控制、代码审查和模块化开发
- 具备出色的沟通和跨职能协作能力
- 能够领导和指导数据工程团队
- 优先考虑具备数字广告、高级 Snowflake、时间序列数据、大数据、数据质量框架、分布式数据平台、其他 AWS 服务、数据治理和 AI 编程代理经验
福利待遇
- 福利包括带薪休假、保险和具有竞争力的薪酬
- 带薪休假
- 保险