高级云基础设施工程师 - 圣卡洛斯混合办公
为大语言模型、RAG 和机器学习平台构建安全、可扩展的 AWS 基础设施。 通过云运营、数据管道和机器学习平台工程，支持航空安全技术。
描述
- 使用 AWS CDK、Terraform 等基础设施即代码工具设计、配置并维护 AWS 环境。
- 使用 GitHub Actions、CodeBuild 和 CodePipeline 为应用、基础设施及机器学习管道开发 CI/CD 工作流和测试。
- 使用 VPC、PrivateLink 和 VPC 端点运行安全的云网络。
- 管理 IAM、KMS、Secrets Manager 和审计日志控制措施。
- 使用 AWS Bedrock 和/或 SageMaker 部署并运营模型端点。
- 评估 ECS、EKS、Lambda 和 Batch 在推理工作负载中的适用性。
- 构建通过可靠 API 访问大语言模型的应用服务，支持流式处理、批处理和退避机制。
- 使用 LangChain 或同类框架开发提示词和工具执行工作流，包括智能体和函数调用。
- 创建分块和嵌入管道，并通过 Step Functions 或 Airflow 进行编排。
- 运营包括 OpenSearch Serverless、带 pgvector 的 Aurora PostgreSQL 和 Pinecone 在内的向量搜索平台。
- 维护知识库，并在 S3、Aurora、DynamoDB 与外部系统之间同步数据。
- 开发用于评估提示词、检索器和链的测试框架。
- 使用 CloudWatch 和 OpenTelemetry 实现应用及模型可观测性。
- 创建令牌消耗和云成本仪表板，并设置预算和告警。
- 实施防护机制、速率限制、故障回退处理和供应商路由。
- 加入个人身份信息检测与脱敏、访问控制、内容过滤及人工审核工作流。
- 为受监管的运营环境维护审计轨迹。
- 开发结构化、非结构化及多媒体数据的采集和处理工作流。
- 使用 Glue 和 Lake Formation 保护数据完整性、血缘关系和目录管理。
- 改进 S3、Glacier 及分层存储之间的大批量数据传输和存储。
- 使用 Athena 进行临时数据分析。
- 管理部署到边缘设备并与其通信的基础设施。
- 支持安全消息传递、身份管理和无线更新。
- 与产品和应用团队合作，将检索服务、嵌入和大语言模型链集成到面向用户的功能中。
- 为云服务和机器学习服务提供高级故障排查支持。
- 使用 Redis 或 Bedrock Knowledge Bases 改进检索质量、上下文窗口效率和缓存。
- 通过模型选择、量化、GPU 和 CPU 实例规格以及自动扩缩容优化推理。
任职要求
- 至少三年专业经验，或拥有相关硕士学位。
- 具备构建和管理数据管道的实践经验。
- 具备使用 AWS CDK 等基础设施即代码工具设计、部署和维护云基础设施的经验。
- 具备构建可靠 CI/CD 和自动化测试系统的经历。
- 具备在生产环境交付或运营大语言模型应用的经验。
- 熟悉 RAG 架构、提示词版本管理，以及使用 LangChain 或类似框架进行链编排。
- 熟练掌握 VPC、IAM、KMS、CloudWatch、S3、ECS/EKS、Lambda、Step Functions、Bedrock 和 SageMaker 等 AWS 服务。
- 具备使用 Python 开发数据采集和转换管道的经验。
- 熟悉 Glue、Athena、EventBridge 和 SQS。
- 了解最小权限访问、密钥管理、网络隔离和合规实践。
- 具备应用定量评估、A/B 测试和生产指标的经验。
- 具备四年或以上 AWS 无服务器或容器平台工作经验者优先。
- 具备大规模运营向量数据库、OpenSearch 或 pgvector 的经验者优先。
- 熟悉 Bedrock Guardrails、Knowledge Bases 或自定义策略引擎者优先。
- 熟悉 GPU 工作负载、Triton Inference Server 或 TensorRT-LLM 者优先。
- 具备用于大规模处理和搜索的大数据技术经验者优先。
- 具备航空数据或其他安全关键行业经验者优先。
- 具备通过自动化 CI/CD 为机器学习和应用服务提供 DevOps 或 DevSecOps 经验者优先。
- 必须是美国人士，并获授权在美国合法工作；不提供签证赞助或签证转移。
- 必须在美国工作，位于或愿意搬迁至旧金山湾区，并且每周至少三天在加利福尼亚州圣卡洛斯现场办公。
- 福利
- 提供股权。
- 承担员工医疗保险保费的 100%。
- 承担受抚养人医疗保险保费的 25%。
福利待遇
- 提供股权。
- 承担员工医疗保险保费的 100%。
- 承担受抚养人医疗保险保费的 25%。
- 提供三周带薪休假。
- 提供 13 天或以上的带薪公司假日。
- 提供 401(k) 计划。
- 提供混合办公安排，其余工作日可远程办公。