高级数据工程师,数据治理与数据血缘——CI&T,巴西混合办公
为 CI&T 的全球客户开发 Azure Databricks 管道和 Lakehouse 解决方案。 推进支持分析、商业智能和人工智能的数据能力建设。
描述
- 使用 Azure Databricks 和 Azure Data Factory 设计并优化可扩展的数据管道
- 构建从数据摄取、转换到交付的 ETL/ELT 工作流
- 在 Bronze、Silver 和 Gold 层实施 Medallion 架构与 Data Lakehouse 解决方案
- 使用 PySpark、Spark SQL、SQL 和 Python 创建数据工程解决方案
- 使用 Delta Lake 维护数据质量、一致性、性能和可靠性
- 为 BI 和分析用例设计并改进数据模型
- 连接来自不同系统的数据,包括关系型数据库和 API
- 与 BI、数据科学、工程和业务团队协作
- 遵循质量、治理、版本控制和 CI/CD 实践
- 应用生成式 AI 工具和代码助手,提高开发效率和质量
- 支持涉及云、数据和人工智能的全球现代化与转型计划
任职要求
- 具备在生产环境中担任数据工程师的实际经验
- 具备丰富的 Azure Databricks 实操经验
- 具备高级 PySpark 和 Apache Spark 技能,包括大规模数据处理与优化
- 具备高级 SQL 能力
- 具备数据工程领域的实际 Python 经验
- 具备使用 Azure Data Factory 构建和编排管道的经验
- 了解 ETL/ELT 以及 Bronze、Silver 和 Gold Medallion 架构
- 具备 Delta Lake 和 Data Lakehouse 环境经验
- 了解维度数据建模和关系型数据建模
- 具备 Git 和版本控制工作流经验,有 Bitbucket 使用经验者优先
- 了解 CI/CD、Azure Pipelines、Azure DevOps 或类似工具
- 具备 SQL Server 或 Oracle 等关系型数据库经验
- 具备务实、分析型且注重解决方案的工作方式
- 能够独立调查问题并提出改进建议
- 能够有效协作,跨越团队和业务职能
- 具备 Kimball 方法论和多维建模经验者优先
- 具备 Azure Purview 或类似数据治理和数据目录经验者优先
- 具备将 Azure DevOps 应用于数据管道的经验者优先
- 了解 Streaming、Spark Structured Streaming 或 Azure Event Hubs 者优先
- 具备 Erwin 或类似数据建模工具经验者优先
- 具备 GitHub Copilot、Databricks Assistant 或其他 AI 开发工具应用经验者优先
- 具备 Azure DP-203 或 Databricks 认证者优先
福利待遇
- 医疗和牙科保险
- 餐费和食品津贴
- 育儿援助
- 延长的育儿假
- Wellhub(Gympass)、TotalPass 及其他健身和健康合作项目
- 利润分享与业绩计划(PLR)
- 人寿保险
- 可使用 CI&T University 持续学习平台
- 折扣俱乐部会员资格
- 免费在线身心健康与福祉资源
- 孕期与负责任育儿课程
- 在线学习平台合作项目
- 语言学习平台
- 为残障人士提供支持和工作场所便利措施
- 健康与福祉团队、包容性专家及员工兴趣小组
- 全球项目、持续学习、创新和职业发展
