CI&T
CI&T
CI&T 是一家成立于 1995 年的全球性技术转型公司,帮助组织通过数字产品和服务实现业务构建、运营及客户互动方式的现代化。其服务涵盖应用现代化、云解决方案、人工智能与数据分析、客户体验、产品设计、战略咨询和沉浸式体验等领域。凭借在咨询、医疗保健和营销等行业的专业经验,CI&T 将技术能力与业务能力相结合,支持组织实现增长并提升运营效率。

高级数据工程师,数据治理与数据血缘——CI&T,巴西混合办公

为 CI&T 的全球客户开发 Azure Databricks 管道和 Lakehouse 解决方案。 推进支持分析、商业智能和人工智能的数据能力建设。

描述

  • 使用 Azure Databricks 和 Azure Data Factory 设计并优化可扩展的数据管道
  • 构建从数据摄取、转换到交付的 ETL/ELT 工作流
  • 在 Bronze、Silver 和 Gold 层实施 Medallion 架构与 Data Lakehouse 解决方案
  • 使用 PySpark、Spark SQL、SQL 和 Python 创建数据工程解决方案
  • 使用 Delta Lake 维护数据质量、一致性、性能和可靠性
  • 为 BI 和分析用例设计并改进数据模型
  • 连接来自不同系统的数据,包括关系型数据库和 API
  • 与 BI、数据科学、工程和业务团队协作
  • 遵循质量、治理、版本控制和 CI/CD 实践
  • 应用生成式 AI 工具和代码助手,提高开发效率和质量
  • 支持涉及云、数据和人工智能的全球现代化与转型计划

任职要求

  • 具备在生产环境中担任数据工程师的实际经验
  • 具备丰富的 Azure Databricks 实操经验
  • 具备高级 PySpark 和 Apache Spark 技能,包括大规模数据处理与优化
  • 具备高级 SQL 能力
  • 具备数据工程领域的实际 Python 经验
  • 具备使用 Azure Data Factory 构建和编排管道的经验
  • 了解 ETL/ELT 以及 Bronze、Silver 和 Gold Medallion 架构
  • 具备 Delta Lake 和 Data Lakehouse 环境经验
  • 了解维度数据建模和关系型数据建模
  • 具备 Git 和版本控制工作流经验,有 Bitbucket 使用经验者优先
  • 了解 CI/CD、Azure Pipelines、Azure DevOps 或类似工具
  • 具备 SQL Server 或 Oracle 等关系型数据库经验
  • 具备务实、分析型且注重解决方案的工作方式
  • 能够独立调查问题并提出改进建议
  • 能够有效协作,跨越团队和业务职能
  • 具备 Kimball 方法论和多维建模经验者优先
  • 具备 Azure Purview 或类似数据治理和数据目录经验者优先
  • 具备将 Azure DevOps 应用于数据管道的经验者优先
  • 了解 Streaming、Spark Structured Streaming 或 Azure Event Hubs 者优先
  • 具备 Erwin 或类似数据建模工具经验者优先
  • 具备 GitHub Copilot、Databricks Assistant 或其他 AI 开发工具应用经验者优先
  • 具备 Azure DP-203 或 Databricks 认证者优先

福利待遇

  • 医疗和牙科保险
  • 餐费和食品津贴
  • 育儿援助
  • 延长的育儿假
  • Wellhub(Gympass)、TotalPass 及其他健身和健康合作项目
  • 利润分享与业绩计划(PLR)
  • 人寿保险
  • 可使用 CI&T University 持续学习平台
  • 折扣俱乐部会员资格
  • 免费在线身心健康与福祉资源
  • 孕期与负责任育儿课程
  • 在线学习平台合作项目
  • 语言学习平台
  • 为残障人士提供支持和工作场所便利措施
  • 健康与福祉团队、包容性专家及员工兴趣小组
  • 全球项目、持续学习、创新和职业发展