資深分析師,模型風險與生成式人工智慧驗證
驗證支援 The Hartford 保險業務的生成式人工智慧與代理式人工智慧模型。建立測試框架、評估模型風險,並傳達驗證結果。
說明
- 驗證各業務職能與業務線中的生成式人工智慧及代理式人工智慧使用案例
- 確認模型計算、演算法與方法準確無誤,並適用於預期用途
- 為摘要生成、問答、搜尋、資料合成、LLM-as-a-judge 及相關應用開發挑戰者方案與測試方法
- 評估用於衡量模型準確性、穩健性與可靠性的量化及質化技術
- 審查資料輸入、假設、提示工程與上下文工程實務
- 運用變異性分析、信賴區間與統計評估方法,為非決定性人工智慧系統建立並執行測試
- 對模型輸入、計算、輸出、概念合理性、監控、控制與文件提出質疑
- 記錄發現與建議,分析其影響,並準備模型驗證報告
- 負責涉及發現追蹤、補救措施測試與驗證活動的治理工作
- 透過標準化指標與驗證工具,推進生成式人工智慧驗證框架
- 與資料科學團隊合作,使模型風險實務與持續演進的建模能力保持一致,並支援主動式風險管理
- 監測人工智慧/機器學習、生成式人工智慧、代理式系統、監管預期與部門計畫的發展
- 協助評估與測試 Vertex AI/Google ADK、LangChain/LangGraph、RAG 框架、Hugging Face 與 OpenAI API 等工具
- 依據人工智慧治理標準、模型風險管理政策與新興監管預期評估解決方案
職位要求
- 人工智慧、機器學習、計算科學、工程、統計學、應用數學、精算學、電腦科學、計量經濟學或相關領域的高等學位,例如碩士或博士學位
- 至少 3 年機器學習或資料科學產業經驗,其中至少 1 年專注於生成式人工智慧或代理式人工智慧
- 具備財產與意外保險、團體保險、人壽保險或相關保險產品經驗者優先
- 具備紮實的 Python、SQL 與 Git 程式設計及技術能力
- 深入了解生成式人工智慧概念,包括提示工程與上下文工程、檢索增強生成、LLM 內部機制、LLM 評估與多代理系統
- 具備使用現代雲端與人工智慧平台的經驗,例如 GCP/Vertex AI、Google uAgent Development Kit(ADK)、AWS/SageMaker、LangChain/LangGraph、Hugging Face 與 OpenAI API
- 能夠獨立工作、主動承擔責任、按時完成任務,並適應不斷變化的優先事項
- 具備出色的分析、批判性思考與調查能力
- 致力於持續學習與發展,以因應建模方法與人工智慧技術的演進
- 具備富有創意、專注解決方案的工作方式,能夠創新思考並願意挑戰既有實務
- 具備出色的溝通與協作能力,包括向非技術利害關係人解釋複雜技術概念的能力
福利待遇
- 短期或年度獎金機會
- 長期獎勵
- 即時表揚
- 福利與待遇;具體細節未說明
