CI&T
CI&T
CI&T 是一家成立于 1995 年的全球性技术转型公司,帮助组织通过数字产品和服务实现业务构建、运营及客户互动方式的现代化。其服务涵盖应用现代化、云解决方案、人工智能与数据分析、客户体验、产品设计、战略咨询和沉浸式体验等领域。凭借在咨询、医疗保健和营销等行业的专业经验,CI&T 将技术能力与业务能力相结合,支持组织实现增长并提升运营效率。

Azure Databricks 数据工程师 — CI&T,巴西混合办公

在 CI&T 这家技术转型公司,使用 Azure 和 Databricks 构建可扩展的数据管道。 参与数据湖仓、ETL/ELT 和分析项目。

描述

  • 使用 Azure Databricks 和 Azure Data Factory 设计并改进可扩展的数据管道
  • 构建涵盖数据摄取、转换和交付的 ETL/ELT 工作流
  • 在 Bronze、Silver 和 Gold 层实施 Medallion Architecture 和数据湖仓解决方案
  • 使用 PySpark、Spark SQL、SQL 和 Python 创建数据解决方案
  • 使用 Delta Lake 支持数据质量、一致性、性能和可靠性
  • 为商业智能和分析场景开发并优化数据模型
  • 连接包括关系型数据库和 API 在内的各种数据源与系统
  • 与 BI、数据科学、工程和业务团队协作
  • 遵循质量保证、数据治理、版本控制和 CI/CD 实践
  • 应用生成式 AI 工具和代码助手,提高开发效率与质量
  • 支持涉及云、数据和人工智能的全球转型与现代化项目

任职要求

  • 具备在生产环境中担任数据工程师的实践经验
  • 拥有丰富的 Azure Databricks 实操经验
  • 具备高级 PySpark 和 Apache Spark 技能,包括大型数据集处理与调优
  • 具备高级 SQL 能力
  • 具备使用 Python 进行数据工程的实践经验
  • 具备使用 Azure Data Factory 构建和编排数据管道的经验
  • 了解跨 Bronze、Silver 和 Gold 层的 ETL/ELT 与 Medallion Architecture
  • 具备 Delta Lake 和数据湖仓环境经验
  • 了解维度建模和关系型数据建模
  • 具备 Git 和版本控制实践经验,有 Bitbucket 经验者优先
  • 了解 CI/CD 工具和实践,包括 Azure Pipelines 或 Azure DevOps
  • 具备 SQL Server 或 Oracle 等关系型数据库经验
  • 工作方式务实、善于分析并专注于解决方案
  • 能够独立调查问题并提出改进建议
  • 优先考虑具备以下经验或资质者:Kimball 方法和多维模型;Azure Purview 或其他数据治理与目录工具;使用 Azure DevOps 构建数据管道;Spark Structured Streaming 或 Azure Event Hubs 等流处理技术;Erwin 或同类工具;GitHub Copilot、Databricks Assistant 或类似 AI 工具;以及 Azure DP-203 或 Databricks 认证

福利待遇

  • 医疗和牙科保险
  • 餐费和食品津贴
  • 育儿援助
  • 延长的育儿假
  • 通过 Wellhub(Gympass)和 TotalPass 使用健身房及健康与保健服务
  • 利润分享和基于业绩的奖金(PLR)
  • 人寿保险
  • 通过 CI&T University 持续学习
  • 折扣俱乐部会员资格
  • 免费在线资源,支持身体和心理健康与福祉
  • 孕期和负责任育儿课程
  • 与在线课程提供商合作
  • 语言学习平台
  • 为残障人士提供招聘支持和便利措施
  • 专门的健康与福祉团队
  • 包容性专家和员工兴趣小组