AI 系統軟體工程師 - AI 基金 - 加拿大遠端
為 Haven Safety AI 的企業安全智慧平台建構生產級 LLM 管線與代理編排系統。 改善檢索、評估、可觀測性與模型品質，服務受監管產業。
說明
- 開發並營運多步驟 LLM 管線，協調模型呼叫、工具呼叫、圖查詢、檢索、品質閘門與專業代理交接。
- 擴展 Haven 的協同代理團隊與編排層，涵蓋從事故證據到分析、審查及企業學習的完整流程。
- 運用 Neo4j 圖遍歷、向量搜尋與混合檢索設計上下文系統。
- 建立評估資料集、評分方法、回歸測試套件、模型比較、人工審查迴圈及階段級品質歸因機制。
- 加入追蹤、工具呼叫稽核、成本與延遲監控、故障處理及品質儀表板。
- 在影響客戶之前識別編排迴圈、幻覺及未偵測到的模型漂移。
- 根據任務需求在 OpenAI、Anthropic 與 Google 模型之間進行選擇。
- 與產品及知識工程團隊協作，同時協助定義 AI 路線圖。
- 向 CTO 報告，並參與創始團隊職責範圍內的各項工作。
職位要求
- 具備專業 AI 或機器學習工程經驗，包括交付供真實客戶使用的 LLM 系統。
- 具備使用 LangGraph、LangChain 或同等框架建構及排查多步驟工具呼叫工作流程的實務經驗。
- 具備可重複的 LLM 評估流程，使用具代表性的資料集、回歸測試、LLM 評審方法或人工審查迴圈。
- 具備準備 LLM 上下文的經驗，並能就要檢索什麼、檢索多少以及檢索原因做出有依據的決策。
- 能夠負責系統從部署、監控到事故回應的完整生命週期。
- 具備調查並解決生產故障或回歸問題的經驗。
- 能夠跨多個模型供應商工作，並解釋品質、延遲、成本、上下文及營運風險之間的取捨。
- 熟悉 Neo4j 和 Cypher，或同類圖資料庫，並能快速學習圖資料建模；優先考慮。
- 具備扎實的 Python 開發能力。
- 具備 FastAPI、非同步服務、測試、可觀測性及可維護介面的生產經驗。
- 具備進階圖資料庫經驗，包括 Cypher、綱要演進、MERGE 模式、嵌入及即時知識圖譜營運經驗；有則優先。
- 具備企業 AI 安全經驗；有則優先。
- 具備 Azure 與混合搜尋經驗；有則優先。
- 具備 Azure AI Search、Pinecone、MongoDB Atlas、pgvector、Elasticsearch 或類似平台的經驗；有則優先。
- 具備企業級 B2B SaaS 經驗；優先考慮。
福利待遇
- 加入一個擁有高度自主權的小型團隊。
- 直接獲得安全團隊的回饋，並看見工作對客戶產生的影響。
- 與 CTO、產品團隊及知識工程團隊緊密合作。
- 影響重要的技術決策，並快速向客戶交付變更。
- 在安全關鍵領域處理複雜的推理挑戰。
- 在以評估為先的文化中工作，專注於可衡量、可觀測且可改善的品質。