軟體工程師，AI 系統（美國遠端）
為 Haven Safety 的企業安全智慧平台打造生產級 LLM 智能體。 負責安全關鍵調查中的檢索、評估、可觀測性與可靠性系統。
說明
- 開發並執行多步驟 LLM 流程，協調模型與工具呼叫、圖形查詢、檢索、品質閘門及專業智能體交接。
- 擴展 Haven 的協同智能體團隊與編排層，涵蓋從事件證據到分析、審查和企業學習的完整流程。
- 使用 Neo4j 遍歷、向量搜尋和混合檢索建立上下文層。
- 開發評估資料集、評分方法、回歸測試套件、模型比較、人工作業審查迴圈和階段級品質歸因機制。
- 加入追蹤、工具呼叫稽核、成本與延遲監控、故障復原及品質儀表板。
- 在影響客戶之前識別智能體迴圈、幻覺和不易察覺的效能漂移。
- 根據任務需求在 OpenAI、Anthropic 和 Google 模型之間做出選擇。
- 與產品和知識工程團隊密切合作。
- 參與 AI 路線圖方向的制定。
- 根據生產環境證據設計、交付、監測並持續改進 AI 和 LLM 推理系統。
- 直接向 CTO 報告。
職位要求
- 具備 AI 或機器學習工程經驗，包括交付供真實客戶使用的 LLM 系統。
- 具備使用 LangGraph、LangChain 或同類框架建置及排除多步驟工具呼叫工作流程的實務經驗。
- 以具代表性的資料集、回歸測試、LLM-as-judge 方法或人工審查迴圈，系統化地進行 LLM 評估。
- 具備為 LLM 準備上下文的經驗，並能清楚說明要檢索什麼、檢索多少以及原因。
- 負責生產系統的部署、監控和事故回應，包括診斷及解決故障或回歸問題。
- 能跨模型供應商工作，並解釋品質、延遲、成本、上下文和營運風險之間的取捨。
- 強烈優先考慮具備 Neo4j 和 Cypher 或同類圖形資料庫經驗，並能快速學習圖形資料建模。
- 精通 Python。
- 具備 FastAPI、非同步服務、測試、可觀測性和可維護介面的生產經驗。
- 加分項：具備 Cypher、結構描述演進、MERGE 模式、嵌入以及操作即時知識圖譜的經驗。
- 加分項：了解提示注入、上下文洩漏防護、租戶隔離、基於角色的存取控制和策略層分離。
- 加分項：具備在 Azure 上運作生產級 AI 服務，並使用 Azure AI Search、Pinecone、MongoDB Atlas、pgvector、Elasticsearch 或類似平台的經驗。
- 強烈優先考慮具備企業環境工作經驗。
- 申請人必須位於美國；不考慮搬遷。
福利待遇
- 參與具實質意義的 AI 推理挑戰。
- 加入重視將評估融入工程實務的團隊。
- 交付能直接且明確影響客戶的技術。
- 在小型團隊中承擔廣泛職責。
- 直接獲得安全團隊和終端使用者的意見。
- 與 CTO、產品和知識工程團隊密切合作。
- 做出重要技術決策，並快速看到成果觸達客戶。