软件工程师，AI 系统（美国远程）
为 Haven Safety 的企业安全智能平台构建生产级 LLM 智能体。 负责安全关键调查中的检索、评估、可观测性与可靠性系统。
描述
- 开发并运行多步骤 LLM 流水线，协调模型与工具调用、图查询、检索、质量门禁及专业智能体交接。
- 扩展 Haven 的协同智能体团队与编排层，覆盖从事件证据到分析、审查和企业学习的全过程。
- 使用 Neo4j 遍历、向量搜索和混合检索创建上下文层。
- 开发评估数据集、评分方法、回归测试套件、模型对比、人审闭环和阶段级质量归因机制。
- 增加链路追踪、工具调用审计、成本与延迟监控、故障恢复及质量仪表盘。
- 在影响客户之前识别智能体循环、幻觉和隐性性能漂移。
- 根据任务要求在 OpenAI、Anthropic 和 Google 模型之间进行选择。
- 与产品和知识工程团队密切合作。
- 参与 AI 路线图方向的制定。
- 基于生产证据设计、交付、监测并持续改进 AI 和 LLM 推理系统。
- 直接向 CTO 汇报。
任职要求
- 具备 AI 或机器学习工程经验，包括交付供真实客户使用的 LLM 系统。
- 具备使用 LangGraph、LangChain 或同类框架构建和排查多步骤工具调用工作流的实践经验。
- 采用具有代表性的数据集、回归测试、LLM-as-judge 方法或人审闭环，以系统化方式开展 LLM 评估。
- 具备为 LLM 准备上下文的经验，并能清晰说明检索什么、检索多少以及原因。
- 负责生产系统的部署、监控和故障响应，包括诊断和解决故障或回归问题。
- 能够跨模型供应商开展工作，并解释质量、延迟、成本、上下文和运营风险之间的权衡。
- 优先考虑具备 Neo4j 和 Cypher 或同类图数据库经验，并能快速学习图数据建模。
- 精通 Python。
- 具备 FastAPI、异步服务、测试、可观测性和可维护接口的生产经验。
- 加分项：具备 Cypher、模式演进、MERGE 模式、嵌入以及运行实时知识图谱的经验。
- 加分项：了解提示注入、上下文泄露防护、租户隔离、基于角色的访问控制和策略层分离。
- 加分项：具备在 Azure 上运行生产级 AI 服务，并使用 Azure AI Search、Pinecone、MongoDB Atlas、pgvector、Elasticsearch 或类似平台的经验。
- 优先考虑具备企业环境工作经验。
- 申请人必须位于美国；不考虑搬迁。
福利待遇
- 参与有实质影响的 AI 推理挑战。
- 加入重视将评估融入工程实践的团队。
- 交付能够直接、清晰影响客户的技术。
- 在小型团队中承担广泛职责。
- 直接获得安全团队和终端用户的反馈。
- 与 CTO、产品和知识工程团队密切合作。
- 做出重要技术决策，并快速看到成果触达客户。