合同制学生人工智能验证与基准测试工程师
评估 AI 智能体的准确性,并构建用于基准测试的数据集。 使用 Python 工具和分析支持 Zoox 自动驾驶出租车技术。
描述
- 参与 AI 工具的端到端验证流程。
- 维护测试数据集。
- 运行基准测试流程并分析结果,找出不同智能体版本中的路由错误和性能回退。
- 创建并扩充真实标注数据集,将智能体输出与经过验证的答案进行比较。
- 发现基准验证中的不足,并协助完善评估基础设施。
- 制定评估指标,包括标签准确率和结构化输出正确性。
- 调查智能体输出失败的原因,并与工程师合作确定切实可行的改进方案。
- 构建脚本和工具,自动执行数据收集、结果解析和指标报告。
- 记录发现、跟踪基准测试趋势,并与团队分享结果。
- 与开发自动驾驶技术的工程师和研究人员合作。
任职要求
- 目前就读于计算机科学、数据科学、工程或相关专业的理学学士或理学硕士项目。
- 能够接受至少三个月的任务安排。
- 每周能够工作至少 20 小时。
- 能够在公司其中一间办公室现场办公。
- 遵守 Zoox 的保密规定,包括不得在 Zoox 以外将公司专有信息用于或分享于学术研究、论文、出版物或演示中。
- 熟悉 Cursor 或 Claude。
- 熟悉 Python。
- 了解精确率、召回率、F1 分数和混淆矩阵等评估指标。
- 能够熟练处理 CSV 和 JSON 等结构化数据格式。
- 有编写或修改可复现分析脚本的经验。
- 接触过基于大型语言模型的系统、提示工程或 AI 智能体评估。
- 有使用 Jira 或 Slack 等工单或消息工具的经验。
福利待遇
- 可在学业期间持续从事有意义的工作。
- 有机会学习并培养新技能。
- 获得专业工作环境中的实践经验。
- 福利资格由供应商决定。
