数据工程师 – AI 流水线与数据产品
为 Citylitics 基础设施智能平台构建生产级数据流水线和智能体 AI 工作流。 负责从编排到面向客户应用的数据产品全生命周期。
描述
- 使用 Airflow 和 BigQuery 构建高性能、可靠且易维护的数据流水线
- 负责流水线架构，涵盖设计、测试、部署、监控和维护
- 独立做出技术决策并运维所构建的系统
- 与分析师及利益相关者合作，明确需求并创建可扩展的数据模型和应用
- 端到端管理数据产品，从流水线和模型到后端 API、仪表板和应用
- 设计并运行 AI 和智能体工作流，将原始文档转换为结构化数据
- 运用工具调用和函数调用、嵌入、检索及结构化输出创建提示词和上下文策略
- 处理重试、幂等性、成本控制和延迟等生产要求
- 维护评估数据集、LLM-as-judge 评估、基于规则的质量检查和基准测试
- 将评估结果应用于模型、提示词和架构决策
- 持续改进数据基础设施和工程流程
- 评估并采用相关技术和工程实践
- 帮助定义 AI 编程智能体如何支持开发、调试、代码审查和文档编写
- 承担分配的其他职责
任职要求
- 熟练掌握 Python 和 SQL
- 至少三年云环境下数据工程师或软件工程师工作经验
- 具备使用 Airflow 或 Cloud Composer 和 BigQuery 构建生产级数据流水线的经验
- 了解数据建模、ETL/ELT 以及可靠且具备幂等性的数据流水线设计
- 具备通过 Gemini、Claude 或 OpenAI 等 API 交付由大语言模型驱动的生产功能或流水线的经验
- 具备提示词、结构化输出以及工具调用或函数调用经验
- 了解智能体模式，包括工具使用、多步骤工作流、检索/RAG 和 MCP
- 理解成本、延迟和故障模式相关的生产权衡
- 日常熟练使用 Claude Code 或 Cursor 等 AI 编程智能体，包括审查和验证生成结果
- 具备 Git、CI/CD 和云平台经验；有 GCP 经验者优先
- 具备使用后端 API 及 React、TypeScript 等前端开发端到端数据应用或仪表板的经验者优先
- 具备出色的问题解决、独立工作、沟通和协作能力
福利待遇
- 通过参与具有现实影响的工作，推动可持续公共基础设施发展
- 代表差异化、数据驱动的基础设施平台
- 跨基础设施、规模化运营和数据科学领域开展工作
- 加入企业官僚流程较少、节奏快速的工作环境
- 使用生成式 AI 工具，访问公司的完整数据资源
- 获得岗位内辅导、基于技能的发展机会和清晰的内部晋升路径
- 加入彼此协作、共同分享庆祝与支持的团队
- 加入安全、多元和包容的工作场所
- 加入提供平等就业机会的雇主