人工智能与大语言模型首席软件工程师
负责为 Beacon AI 的飞行安全平台开发由大语言模型驱动的航空能力，涵盖 RAG、工具调用、评估、安全与生产可靠性。
描述
- 从设计到生产环境构建面向用户的大语言模型产品能力
- 设计检索增强生成和工具调用工作流
- 通过验证、重试和故障回退处理，生成可靠的 JSON 及符合架构约束的输出
- 使用函数调用连接内部工具、搜索、路由和数据服务
- 使用 Python 或 TypeScript 开发具有明确契约、流式处理和退避机制的 API 与工作进程
- 使用缓存、请求整形、提示词模板和上下文打包管理延迟与成本
- 将应用连接至 AWS Bedrock、OpenAI、Anthropic 或自托管模型端点
- 与基础设施工程师合作，为文档、时间序列和多媒体数据进行分块、嵌入和索引
- 选择并优化包括 OpenSearch、pgvector 和 Pinecone 在内的向量数据库
- 通过同步 S3、Aurora、DynamoDB 和外部来源的数据，保持知识库的最新状态
- 为提示词、检索器和工具构建离线评估及黄金数据集
- 定义任务成功率、幻觉率、检索精确率与召回率、p95 延迟及单次请求成本等在线指标
- 开展 A/B 测试，并通过防护措施和金丝雀发布逐步推出提示词与版本变更
- 实施内容与策略执行、个人身份信息检测与脱敏、访问控制和审计追踪
- 为敏感操作创建人工介入工作流
- 按照内部安全标准处理航空数据
- 为模型调用、令牌使用、错误和系统饱和度提供追踪、日志和仪表盘
- 调查检索、提示词、工具和模型提供商各环节的故障
- 针对复杂且定义不明确的问题，为各项服务和团队制定技术方向
- 与机器学习、基础设施和产品合作伙伴协作，推进用户体验、业务成果、可靠性和安全关键系统
任职要求
- 至少 8 年工作经验，包括负责其他工程师使用的系统或标准
- 或者，拥有相关硕士学位及 4 年相关工作经验
- 具有面向终端用户发布大语言模型功能并通过数据持续改进的经验
- 具备扎实的生产环境开发、测试和技术文档能力
- 了解嵌入、分块、向量搜索的权衡及函数调用
- 具有设计评估、建立成功指标并基于证据迭代的经验
- 能够监控 p95 延迟、满足 SLA，并在保持质量的同时降低成本
- 能够沟通权衡，并协调产品、基础设施和安全相关方
- 具有制定技术方向或标准并推动工程师或团队采用的技术领导经验
- 熟练掌握 Python 或 TypeScript
- 具有 RAG、工具调用工作流、符合架构约束的 JSON、验证、重试、故障回退、API、工作进程、流式处理、退避、缓存、提示词模板、上下文打包和模型提供商方面的经验
- 具有使用 AWS Bedrock、OpenAI、Anthropic 或自托管端点的经验
- 熟悉 OpenSearch、pgvector、Pinecone 或 Weaviate
- 具有处理 S3、Aurora 和 DynamoDB 数据源的经验
- 具有离线评估、黄金数据集、在线指标、A/B 测试、提示词和版本发布、防护措施及金丝雀发布经验
- 具有实施内容与策略控制、个人身份信息检测与脱敏、访问管理和审计的经验
- 具有追踪、日志、仪表盘、模型调用故障排查和生产运营经验
- 必须具备美国人员身份；不提供签证赞助或身份转移
- 所有工作必须在美国境内完成
- 能够每周至少 3 天在加利福尼亚州旧金山湾区或圣卡洛斯现场办公
福利待遇
- 提供股权
- 公司承担员工医疗保险保费的 100%
- 公司承担家属医疗保险保费的 25%
- 三周带薪休假
- 至少 13 天带薪公司假日
- 提供 401(k) 计划
- 其余混合办公日可远程工作