Plenful 高级机器学习工程师（旧金山，混合办公）
制定机器学习智能体、模型后训练与评估的生产策略。 构建医疗 AI 自动化，减少行政工作并加强合规。
描述
- 设计生产环境中的智能体，涵盖工具调用、检索、状态与上下文管理、路由、编排、追踪和故障恢复。
- 将有效方案转化为可复用的工程模式。
- 决定模型和平台组件采用自建还是采购。
- 制定公司的后训练策略。
- 训练并部署用于医疗任务的大语言模型和视觉语言模型。
- 建设内部持续训练模型的能力。
- 创建能够证明生产效果改善的评估。
- 制定 AI 质量策略，涵盖自动评分器、经过校准的大语言模型评审器、回归测试集、人工审核、故障分类，以及从离线到在线的验证。
- 依据评估结果做出发布决策。
- 构建系统，利用生产故障和用户反馈改进数据集、评估和模型。
- 制定数据集版本管理、可观测性和机器学习运维标准。
- 与工程和产品负责人共同规划未来 12 个月的机器学习路线图。
- 主持技术评审，指导资深工程师，并参与招聘。
- 通过遵循最少必要数据原则、在适当情况下使用去标识化或合成数据，以及采用符合 HIPAA 要求的实践来保障隐私。
- 在前 30 天审查智能体、评估和训练流水线，找出最大的三个缺口。
- 在第 90 天前交付一项后训练或评估改进，并推动一项生产指标提升。
- 在第 90 天前发布团队未来两个季度的计划。
任职要求
- 具备至少 8 年机器学习或软件工程经验，其中至少 3 年负责生产级大语言模型或智能体系统。
- 具备端到端应用后训练经验，例如监督微调、偏好优化、蒸馏或强化学习。
- 有交付模型并改善生产指标的经验。
- 有设计大语言模型或智能体评估策略，并据此做出发布决策的经验。
- 有生产级智能体系统架构设计经验。
- 使用 LangGraph、RAG 和 Pinecone 等向量搜索工具的经验。
- 精通 Python 和 PyTorch。
- 熟悉 vLLM、FSDP 或 DeepSpeed 等分布式训练和服务工具。
- 具备机器学习运维经验，使用过 Docker、Kubernetes、MLflow 或同类工具、CI/CD，以及实验和数据集追踪工具。
- 能够通过设计文档、评审和指导，在没有正式职权的情况下推动协作。
- 持续关注新模型和编程智能体的进展。
- 能够将论文和产品发布转化为实验，并报告量化结果。
- 有他人能够使用的工作成果，例如开源贡献、技术文章、演讲或评估。
- 优先条件：具备医疗数据经验，例如 EHR、FHIR、理赔或事先授权。
- 优先条件：在大语言模型评估、后训练或智能体领域发表论文或参与开源项目。
- 优先条件：有面试和招聘机器学习工程师的经验。
- 优先条件：有其他受监管或高风险领域的工作经验。
福利待遇
- 弹性混合办公，采用远程优先方式，并可在旧金山和纽约办公室开展有意义的线下协作。
- 为员工提供全面的医疗、牙科和视力保险，家属也可参保。
- 提供 401(k) 计划，公司按员工缴款前 3% 的 50% 配比。
- 所有全职员工均可获得股权。
- 带薪休假不限天数。
- 每周提供 100 美元午餐补贴。
- 每月提供 100 美元健康福利补贴。
- 为驻旧金山和纽约的员工每月提供 100 美元通勤补贴。
- 带薪育儿假。
- 提供职业发展机会。
- 与经验丰富的同事组成使命驱动型团队。
- 与经验丰富、表现出色的领导者协作。
