数据平台工程师——澳大利亚混合办公
构建并运营 EatClub 的 Databricks 湖仓和可靠的数据管道。你的工作将支持这家不断发展的餐饮科技企业开展分析、数据科学、治理和更好的决策。
描述
- 使用源系统集成、CDC 流和第三方 API 开发并运行青铜层数据摄取
- 管理架构变更、回填和数据重放
- 负责编排工作，包括调度、依赖关系、重试、告警和数据集 SLA
- 通过主干开发、拉取请求验证、部署门禁和一致的环境晋级来强化 CI/CD
- 通过授权、数据血缘、标签、行级和列级控制以及安全的外部共享来管理平台治理
- 通过合理配置仓库和集群大小，并调优分区、聚类和增量处理来改善成本和吞吐量
- 创建针对新鲜度、数据量和架构的数据质量与可观测性控制，并设置失败告警和根因调查机制
- 让分析师和数据科学家能够独立使用平台
- 与依赖该平台构建模型和仪表板的分析与数据科学团队合作
- 使用 AI 工具加速开发、测试、迁移和代码审查
任职要求
- 具备为商业规模产品编写和优化 SQL 的能力，并有实践证明
- 精通 Python
- 具备在云数据平台上构建和运营生产数据管道的实践经验
- 具备使用 Databricks Workflows、Airflow、Dagster 或类似系统进行编排和调度的经验
- 具备诊断并恢复失败的隔夜作业的经验
- 具备从内部 API 和第三方工具高效摄取数据，同时保持严格数据完整性的经验
- 扎实掌握 Git、CI/CD、主干开发、测试及更广泛的软件工程实践
- 能够适应 AI 优先的开发模式，使用 Claude Code、智能体工作流，并在日常开发周期中全面运用 AI
- 具备 Databricks 和 dbt Core 经验者优先
- 熟悉 AWS 者优先
- 具备优化 Spark 或 Databricks 成本和性能的经验者优先，包括分区、液态聚类和仓库大小调整
- 具备使用 Structured Streaming、Debezium 或 Delta Live Tables 等技术进行流式处理或 CDC 的经验者优先
- 具备应用数据质量、安全和文档实践的经验者优先
- 具备开展 AI 和 LLM 实验的经验者优先
福利待遇
- EatClub 员工折扣及可使用于 EatClub 的餐饮代金券
- 首次使用 EatClub 的用户可选择使用代码 ECAPPLY5 获取 5 美元代金券；是否参加不会影响申请或面试流程
- AI 优先的工作环境，通过 Anthropic Enterprise 使用 Claude Code，并采用智能体和异步工作流
- 参与 Databricks 湖仓平台建设的机会
- 小团队环境，承担广泛且影响力大的职责
- 在每周反馈支持下快速交付