科學化學 Python AI 評測合約承包商
為 Gramian Consulting 設計以 Python 為基礎的化學問題、驗證測試與嚴謹資料集，用於訓練及評測先進 AI 模型的合約職位。
說明
- 建立以核心化學問題為中心的科學程式設計任務，並設計至少三個在結構與複雜度上逐步提升、彼此具有邏輯關聯的子問題。
- 建構經過驗證且具備完整單元測試覆蓋率的 Python 參考解決方案。
- 設計具針對性的測試案例，以區分正確與錯誤的 AI 生成答案。
- 在中央任務平台執行品質控管檢查，涵蓋第 1 級結構驗證與第 2 級品質評分標準。
- 根據品質控管回饋，完善任務要求、實作內容與測試案例。
- 調整任務，使其符合 GPT、Gemini、Nemotron 及其他大型語言模型評審器的 Pass@K 評測標準。
- 維持科學準確性、確定性行為、清晰的問題表述與專案品質要求。
- 提交高品質的首次成果，減少返工，並持續以取得 L1 核准為目標。
- 在要求的重疊工作時段參加審查會議、回饋交流與專案站會。
職位要求
- 化學碩士或博士學位。
- 具備出色的 Python 程式設計能力與科學運算實務經驗。
- 具有使用 NumPy、SciPy、SymPy 等科學 Python 工具或同類領域專用函式庫的經驗。
- 能夠定義具備明確限制條件與預期輸出的嚴謹科學問題。
- 具有使用單元測試實作科學解決方案並確保結果具確定性的經驗。
- 具備 AI 資料標註、科學研究或技術科學寫作背景。
- 熟悉大型語言模型評測系統、程式設計基準測試或 AI 生成程式碼評估。
- 在化學或其他 STEM 領域擁有已發表研究或學術專案經驗。