
高级数据工程师(Databricks)
构建 Databricks 数据管道,支持 CI&T 的企业 AI 转型解决方案。 领导 DataOps、数据治理与交付,并与跨职能团队协作。
描述
- 构建并维护数据管道。
- 连接并转换来自 API、关系型数据库、文件及其他来源的数据。
- 主导可靠数据管道的设计与开发。
- 与业务和分析团队合作,明确数据需求。
- 与数据科学家、分析师和平台工程师协作。
- 保障摄取数据的质量、可靠性、安全性和治理。
- 应用 DataOps 实践,包括版本控制、数据测试和 CI/CD。
- 记录数据工程工作流程和最佳实践。
- 提供技术指导并辅导同事。
- 交付支持组织优先事项的高质量数据解决方案。
任职要求
- 具备使用 PySpark、Delta Lake 和 SQL 构建及管理大型 Databricks 数据管道的实际经验。
- 具备扎实的 Python 和 SQL 技能,能够处理和转换数据。
- 深入了解 ETL/ELT 框架、数据仓库和分布式数据处理。
- 具备 DataOps 实践经验,包括 Git、CI/CD 管道、自动化测试和基础设施即代码。
- 熟悉 AWS、Azure 或 GCP 及其相关数据服务。
- 具备出色的问题排查能力,能够应对性能、可扩展性和可靠性方面的挑战。
- 熟练使用 Git。
- 英语高级水平。
福利待遇
- 医疗和牙科保险。
- 餐费和食品补贴。
- 托儿补助。
- 延长陪产假。
- 通过 Wellhub(Gympass)和 TotalPass 合作计划,使用健身房以及健康与福祉专业服务。
- 利润分享及业绩成果分成(PLR)。
- 人寿保险。
- 通过 CI&T University 持续学习。
- 折扣会员俱乐部。
- 免费的身心健康及整体福祉在线资源。
- 孕期与责任育儿课程。
- 与在线学习平台合作。
- 语言学习平台。
- 可获得健康与福祉工作人员、包容性事务专家及员工兴趣社群的支持。
- 在招聘选拔过程中,为残障候选人提供支持和便利安排。








