
基础模型数据工程师
为 Sciforium 的多模态 AI 模型构建 PB 级预训练与后训练数据集。 开发用于语言、视觉和视频训练的高性能数据管道。
描述
- 端到端构建大型语言模型的预训练数据集。
- 筛选并平衡网页、代码、书籍和技术论文数据,以提升下游模型性能。
- 构建数据管道,清洗、去重并从 PB 级非结构化数据中提取信号。
- 主导后训练数据集开发,包括监督微调指令、多轮对话以及 RLHF/DPO 偏好数据。
- 负责视觉与视频数据的采集和处理。
- 使用多进程和多线程编写高吞吐量 Python 数据处理脚本。
- 对训练语料进行统计分析,发现偏差、知识缺口和质量退化。
- 构建合成数据管道,弥补自然采集数据集中的缺口。
- 解决多模态对齐、视频压缩和时间一致性方面的挑战。
任职要求
- 至少五年数据科学或机器学习行业经验。
- 具备为基础模型构建和管理数据集的实践经验。
- 精通 Python,包括多进程、多线程和高效内存管理。
- 具备处理 PB 级生产环境大型语言模型或大型视觉模型数据集的经验。
- 具备使用原始网页抓取数据和专业领域数据从零构建大型 LLM 训练数据集的经验。
- 具备构建 RLHF、DPO 和多轮指令遵循数据集的实践经验。
- 具备管理人工标注工作流和高质量金标准数据集的经验。
- 熟练掌握 Spark、Ray、WebDataset、Parquet 或其他适用于大规模数据的同类框架和格式。
- 具备从零构建大型图像或视频数据集的经验者优先。
- 熟悉多模态抓取、视频处理、编解码器和压缩者优先。
- 具备为推理、编程和数学基准设计复杂标注规范的经验者优先。
- 拥有定量领域硕士或博士学位,研究方向侧重数据中心型 AI 或信息检索者优先。
- 拥有在美国工作的合法授权。
福利待遇
- 医疗、牙科和视力保险。
- 401(k) 退休储蓄计划。
- 每日提供午餐、零食和饮料。
- 灵活休假。
- 具有竞争力的薪酬。
- 股权。



