
高级数据工程师,Databricks
为 Retail Insight 的美国零售客户构建可靠的 Databricks 数据管道和数据产品。 助力打造跨云数据平台的可扩展分析基础设施。
描述
- 构建并维护可扩展的数据管道。
- 提升批处理和流处理工作流的可靠性与性能。
- 协助设计和实施数据架构。
- 为各类管道添加数据质量检查、监控和可观测性功能。
- 落实安全、访问控制和治理标准。
- 与数据科学家和分析师合作交付数据产品。
- 与首席数据工程师协作,将业务需求转化为技术方案。
- 审查代码并协助维护工程标准。
- 探索降低云成本和提升平台性能的方法。
- 改进平台文档、工具选型和工程实践。
- 与同事及客户相关方沟通需求并支持项目交付。
任职要求
- 具备数据工程经验,包括构建和维护生产环境中的 Databricks 数据管道。
- 有 Databricks Unity Catalog 和 Databricks Asset Bundles 使用经验。
- 熟悉 Apache Spark、Delta Lake 和 Databricks Workflows 的实际应用。
- 熟练使用 Python 和 SQL。
- 了解数据建模、ETL/ELT 模式和分布式数据处理。
- 有 Azure 数据服务经验,例如 Azure Data Factory、ADLS Gen2 和 Azure DevOps,或具备同等 AWS 或 GCP 服务经验。
- 有实施数据质量检查和管道监控的经验。
- 沟通能力强,能与技术和非技术背景的同事顺畅合作。
- 善于协作,对质量成果负责,并积极学习和改进。
- 拥有计算机科学、数据工程或相关专业学位,或具备同等实践经验。
- 愿意按需出差。
- 了解 Terraform 或 Bicep 者优先。
- 了解 dbt 或类似数据转换框架者优先。
- 接触过 Kafka 或 Event Hubs 者优先。
- 接触过零售或消费品(CPG)数据者优先。
- 有直接服务客户的经验者优先。
福利待遇
- 可在任意地点工作的福利。
- 夏季工作时间安排。
- 生日、婚礼等重要人生事件可额外休假。
- 每年 26 天带薪休假,随服务年限累积。
- 带薪志愿服务假。
- 心理健康资源。
- 可使用领先的学习平台。
- 职业发展规划。
- 支持打造适合个人需求的居家办公空间。
- 医疗、牙科和视力保险。
- 退休计划,雇主匹配缴纳比例为 6%。
- 年度电话费用报销。
- 可使用现场健身房。
- 通过在线平台灵活定制福利。



