高级数据平台工程师
构建支撑 Ovoko 二手汽车零件交易平台的数据基础设施,为分析、人工智能和产品开发提供支持。 运用 Kubernetes、AWS 和 Snowflake,确保数据平台可靠且可扩展。
描述
- 构建并扩展 Ovoko 的数据平台,为分析、数据科学、人工智能和产品开发提供支持。
- 管理涵盖本地部署 Kubernetes、AWS 和 Snowflake 的平台基础设施。
- 制定支持可扩展性、可移植性、可维护性和适应性的架构方案。
- 为数据代码和基础设施创建自助工具及 CI/CD 工作流。
- 支持数据管道和 dbt 项目的独立开发与部署,提供独立环境、自动化测试和安全的数据发布流程。
- 运行编排、流处理、查询和存储服务,包括升级、备份、恢复和事故响应。
- 通过指标、日志、告警和实用的运行手册,建立覆盖全平台的可观测性。
- 按照最小权限原则管理访问权限、密钥、安全和合规事项。
- 规划容量、调优性能,并优化 Kubernetes、Snowflake、云基础设施和工具的成本。
- 为 AI 助手和智能体提供安全且受治理的数据访问,并为商业或自托管 AI 模型提供基础设施。
- 与数据工程师、分析工程师和基础设施团队协作。
任职要求
- 具备平台工程、DevOps 或 SRE 的实操经验,曾负责数据平台或后端系统的生产基础设施。
- 具备生产环境 Kubernetes 运维经验,包括部署、自动扩缩容、网络和故障排查。
- 具备基础设施即代码实践经验,例如 Terraform,以及 CI/CD 流水线实践经验,例如 GitHub Actions 或 GitLab CI;熟悉 GitOps。
- 具备云基础设施经验,包括网络、IAM 和成本管理;有 AWS 经验者优先。
- 具备使用 Prometheus、Grafana 等工具配置监控和告警、诊断性能问题及处理生产事故的经验。
- 能够使用 Python 或 Go 编写自动化程序和内部工具。
- 了解数据工作负载和相关工具,例如编排系统、数据仓库、流处理平台和 dbt。
- 掌握基础设施安全的实用知识,包括访问控制、密钥管理和最小权限原则。
- 能够在日常工程工作中熟练使用 AI 辅助开发工具。
- 能够独立工作、做出务实的技术权衡,并与数据工程师、分析工程师和基础设施团队协作。
- 优先条件:具备 Kafka 和 Apache Flink 的实操经验。
- 优先条件:具备 Apache Iceberg 生产环境运维经验。
- 优先条件:具备跨本地部署和云环境设计及运维混合数据平台的经验,包括增量复制、CDC 和 upsert 模式。
福利待遇
- 私人医疗保险
- 员工股票期权计划(ESOP)
- 个人与职业学习预算
- 通勤支持,可报销停车或公共交通费用
- 工作场所提供零食和饮料
- 现场健身房
- 可选择 macOS 或 Windows 设备与软件
- 每年最多可选择 30 天在任意地点工作
- 员工推荐计划
