AI 系统软件工程师 - AI 基金 - 加拿大远程
为 Haven Safety AI 的企业安全智能平台构建生产级 LLM 管道和智能体编排系统。 改进检索、评估、可观测性和模型质量，服务于受监管行业。
描述
- 开发和运营多步骤 LLM 管道，协调模型调用、工具调用、图查询、检索、质量门禁和专业智能体交接。
- 扩展 Haven 的协同智能体团队和编排层，覆盖从事故证据到分析、审查和企业学习的完整流程。
- 使用 Neo4j 图遍历、向量搜索和混合检索设计上下文系统。
- 创建评估数据集、评分方法、回归测试套件、模型对比、人工审查循环和阶段级质量归因机制。
- 增加链路追踪、工具调用审计、成本与延迟监控、故障处理和质量仪表板。
- 在影响客户之前识别编排循环、幻觉和未检测到的模型漂移。
- 根据任务要求在 OpenAI、Anthropic 和 Google 模型之间进行选择。
- 与产品和知识工程团队协作，同时参与定义 AI 路线图。
- 向 CTO 汇报，并承担创始团队职责范围内的多项工作。
任职要求
- 具备专业 AI 或机器学习工程经验，包括交付供真实客户使用的 LLM 系统。
- 具备使用 LangGraph、LangChain 或同等框架构建和排查多步骤工具调用工作流的实践经验。
- 具备可重复的 LLM 评估流程，使用具有代表性的数据集、回归测试、LLM 评审方法或人工审查循环。
- 具备准备 LLM 上下文的经验，并能就检索什么、检索多少以及检索原因做出有依据的决策。
- 能够对系统从部署、监控到事故响应的完整生命周期负责。
- 具备调查和解决生产故障或回归问题的经验。
- 能够跨多个模型提供商工作，并解释质量、延迟、成本、上下文和运营风险之间的权衡。
- 了解 Neo4j 和 Cypher，或同类图数据库，并能够快速学习图数据建模；优先考虑。
- 具备扎实的 Python 开发能力。
- 具备 FastAPI、异步服务、测试、可观测性和可维护接口的生产经验。
- 具备高级图数据库经验，包括 Cypher、模式演进、MERGE 模式、嵌入以及实时知识图谱运营经验；有则优先。
- 具备企业 AI 安全经验；有则优先。
- 具备 Azure 和混合搜索经验；有则优先。
- 具备 Azure AI Search、Pinecone、MongoDB Atlas、pgvector、Elasticsearch 或类似平台的经验；有则优先。
- 具备企业级 B2B SaaS 经验；优先考虑。
福利待遇
- 加入一个拥有较大自主权的小型团队。
- 直接获得安全团队的反馈，并看到工作对客户产生的影响。
- 与 CTO、产品团队和知识工程团队紧密合作。
- 影响重要的技术决策，并快速向客户交付变更。
- 在安全关键领域应对复杂的推理挑战。
- 在以评估为先的文化中工作，专注于可衡量、可观测且可改进的质量。