数据基础设施首席软件工程师
负责 Slack 分析、机器学习和 AI 工作流所需分布式数据基础设施的设计与运营。 掌管核心服务,扩展计算、编排、可观测性和实时分析能力。
描述
- 构建并运营可靠的数据基础设施,为 Slack 分析、机器学习和数据驱动决策提供支持。
- 负责 Pinot 和 Trino 等关键分析服务。
- 维护 Airflow、Kubernetes 上的 Spark、EMR 和 Hive Metastore 的可用性、可靠性与性能。
- 加强基础设施安全、成本效益和开发者体验。
- 为数据工作流创建自动化和自助工具。
- 与数据工程、平台和安全团队合作,交付可扩展且受治理的系统。
- 使用 Grafana 和相关工具改进监控、告警和可观测性。
- 与资深及高级工程师共同制定工程实践、技术标准和支持模式。
- 指导工程师,并展现出强烈的责任意识、协作精神和运营纪律。
- 采用面向 AI、以数据为依据的方法扩展计算与编排能力。
- 支持实时 OLAP 工作负载。
- 为工程和数据工作流构建并扩展智能代理、AI 技能和自动化能力。
任职要求
- 拥有至少 10 年软件、平台或基础设施工程经验,其中包括支持数据密集型系统或平台的工作经验。
- 曾成功构建、部署并运营大规模分布式基础设施。
- 具备 EMR、Airflow、Pinot、Trino、Hive Metastore、Kubernetes 或同类系统的扎实技术经验。
- 熟练使用 Python、Go、Bash 和 SQL。
- 具备 CI/CD 经验,包括 GitHub Actions,以及 Vault、Terraform、Chef 和 Grafana 的使用经验。
- 深入理解基础设施可靠性、可观测性和成本管理。
- 具备支持数据管道或数据工程工作流的实践经验者优先。
- 具备构建并集成基于智能代理的工作流、自定义 AI 技能、自动化软件工厂流水线和 MCP 的实操经验。
- 拥有计算机科学、工程学学士学位,或具备同等实践经验。
- 能够与跨职能团队有效合作。
- 责任意识强,并有独立交付高影响力工作的记录。
福利待遇
- 休假计划
- 医疗保险
- 牙科保险
- 视力保险
- 心理健康支持
- 带薪育儿假
- 人寿保险
- 残疾保险
- 401(k) 退休储蓄计划
- 员工股票购买计划
- 符合条件的职位可能提供激励性薪酬。
- 符合条件的职位可能提供股权。
