科学化学 Python AI 评测合同承包商
为 Gramian Consulting 设计基于 Python 的化学问题、验证测试和严谨数据集，用于训练和评测先进 AI 模型的合同职位。
描述
- 创建以核心化学问题为中心的科学编程任务，并设计至少三个在结构和复杂性上逐步提升、逻辑相互关联的子问题。
- 构建经过验证且具有全面单元测试覆盖的 Python 参考解决方案。
- 设计有针对性的测试用例，以区分正确和错误的 AI 生成答案。
- 在中央任务平台执行质量控制检查，涵盖第 1 层结构验证和第 2 层质量评分标准。
- 根据质量控制反馈，完善任务要求、实现方案和测试用例。
- 调整任务，使其符合 GPT、Gemini、Nemotron 及其他大语言模型评审器的 Pass@K 评测标准。
- 维护科学准确性、确定性行为、清晰的问题表述和项目质量要求。
- 提交高质量的首次成果，减少返工，并持续以获得 L1 批准为目标。
- 在要求的重叠工作时段参加评审会议、反馈交流和项目站会。
任职要求
- 化学硕士或博士学位。
- 具备较强的 Python 编程能力和科学计算实践经验。
- 具有使用 NumPy、SciPy、SymPy 等科学 Python 工具或同类领域专用库的经验。
- 能够定义具有明确约束条件和预期输出的严谨科学问题。
- 具有使用单元测试实现科学解决方案并确保结果确定性的经验。
- 具备 AI 数据标注、科学研究或技术科学写作背景。
- 熟悉大语言模型评测系统、编程基准测试或 AI 生成代码评估。
- 在化学或其他 STEM 领域拥有已发表研究或学术项目经验。
