数据平台高级工程师
负责构建支撑 Reality Defender 深度伪造检测研究的 Databricks 数据平台。 打造可复现的多模态数据集和可扩展的合成数据生成流水线。
描述
- 领导 AI 研究的完整数据平台，涵盖持续摄取和预处理，以及大规模图像、视频、音频和文本数据的治理与导出。
- 扩展并提升 Databricks lakehouse 和分布式处理技术栈。
- 随着数据量增长，指导架构设计以及自建或采购决策。
- 开发可复用的基础设施，在内部跨多种模态生成合成数据。
- 建立数据集版本管理、血缘追踪、元数据、质量检查，以及一致的训练集和评估集划分。
- 负责保障流水线可靠性、可观测性，并控制各数据集的处理成本。
- 与机器学习研究人员合作，构建可加速模型开发的自助工具。
- 指导工程师，并加强代码审查、测试、文档和运维手册。
- 与安全及合规团队协调数据处理、许可和访问控制事宜。
- 与工程和研究负责人共同制定长期数据平台路线图。
- 向数据总监汇报。
- 入职前 12 个月内，领导建设成熟的自助服务平台，扩展合成数据生成，交付可复现的评估数据集，并推动高影响力的路线图项目。
任职要求
- 至少 8 年数据平台或基础设施建设经验，包括以高级或负责人级别承担生产流水线责任，处理大规模数据的生成、摄取或交付。
- 丰富的分布式处理工具实战经验，例如 Spark 或 Ray，以及 lakehouse 平台经验；最好使用过 Databricks，并使用 S3、GCS 或 Azure Blob 等云对象存储。
- 具备 Databricks、Unity Catalog、Delta Lake 和 AWS 上 Spark 的生产环境经验，能够进行性能调优、访问控制和运维故障排查。
- 有处理大型非结构化媒体数据（如视频、音频或图像）的经验，涉及大文件、解码、转码和大规模元数据处理。
- 能够通过版本管理、血缘追踪、数据质量验证，以及使用 Airflow、Dagster 或 Databricks Workflows 等工具进行编排，持续产出可复现的机器学习数据集。
- 具备扎实的 Python 和 SQL 技能。
- 判断力良好，能够在精简团队中从头到尾负责边界不明确的平台挑战。
- 有使用 Terraform 和 CI/CD 自动化基础设施及部署的经验，包括 AWS 存储、IAM、计算资源、Databricks 资源和分布式处理环境。
- 具备合成数据生成流水线开发经验，或大规模运行生成模型的经验者优先。
- 有支持机器学习研究团队训练和评估数据需求的经验，尤其是多模态模型相关经验者优先。
- 有安全、欺诈、信任与安全、其他对抗性领域，或 A 轮、B 轮初创公司工作经验者优先。
- 申请流程要求申请人授权在美国工作。
- 如果目前不在纽约市或附近，愿意根据工作安排搬迁。
福利待遇
- 员工医疗保险保费全额覆盖，家属可享部分保费覆盖。
- 员工及家属的牙科和视力保险保费全额覆盖。
- 员工的短期和长期伤残保险及人寿保险保费全额覆盖。
- 提供灵活支出账户和健康储蓄账户，以及 401(k) 计划。
- 股权薪酬。
- 每年 20 天带薪休假。
- 12 周育儿假。
- 学习与发展预算。
- 每月健康福利。
- 公司每年资助一次异地团建。
- 纽约市总部员工可通过 Uber Eats 享用每日办公室午餐。
- 纽约市总部员工可享通勤福利。
- 纽约市总部员工可在周五远程办公。
- 纽约市总部员工可参加欢乐时光及其他本地活动。
- 符合年度绩效奖金的申请资格。
