模型測試與測量工程師——美國遠端
Defcon AI 正在尋找一名模型測試與測量工程師，獨立驗證 AI 系統。此職位涵蓋真實資料集建置、模型稽核、工作流程測量，以及為負責任的發布決策提供證據。
說明
- 建置用於模型評估的標註真實資料集
- 規劃並執行抽樣稽核
- 依模型版本把關發布，同時維護版本清單、評估紀錄與回復觸發條件
- 檢視模型漂移與人工覆寫活動
- 建立有關人工監督、公平性與差異影響的證據
- 與模型建置團隊保持獨立，在不建置模型、不設定門檻，且不依據該證據核准發布的情況下，提供評估證據
- 透過審查時間、吞吐量、待辦積壓變化、覆寫率與重工率衡量工作流程改善
- 建立評估階段的品質控制，涵蓋樣本選擇、審查單位，以及不同方法或搜尋來源之間的公平比較
- 指定其他團隊必須記錄的測量事件，並確認審查工作區從首次使用起即記錄工作流程事件
- 與資料科學家、AI 工程師及技術領導團隊合作
- 透過獨立評估支援發布決策、改善計畫與客戶評估
職位要求
- 至少 5 年將模型驗證作為明確職責的工作經驗
- 具備建構真實資料集及設計抽樣方法的實務經驗
- 精通 Python 與 SQL
- 能夠獨立於所評估模型所屬團隊工作
- 要求具備美國公民身分
- 持有有效的美國秘密級安全許可
- 願意滿足部分工作所需的更高級別人員安全要求，詳情將於篩選期間討論
- 具備受監管產業或政府模型風險領域背景
- 具備測試公平性與差異影響，以及記錄人工監督的經驗
- 熟悉 NIST AI 風險管理框架或類似實務
- 持有有效的絕密級安全許可
福利待遇
- 具競爭力的薪資、獎金與股權
- 完全遠端、以成果為導向的工作環境
- 雇主為你與家人支付醫療、牙科與視力保險
- 經主管核准的無限帶薪休假
- 彈性安排工作時間，自主掌控工作日
- 14 週全薪育嬰假
- 視需要偶爾前往 DEFCON AI 總部、客戶所在地與合作夥伴設施出差