Azure Databricks 数据工程师 — CI&T,巴西混合办公
在 CI&T 这家技术转型公司,使用 Azure 和 Databricks 构建可扩展的数据管道。 参与数据湖仓、ETL/ELT 和分析项目。
描述
- 使用 Azure Databricks 和 Azure Data Factory 设计并改进可扩展的数据管道
- 构建涵盖数据摄取、转换和交付的 ETL/ELT 工作流
- 在 Bronze、Silver 和 Gold 层实施 Medallion Architecture 和数据湖仓解决方案
- 使用 PySpark、Spark SQL、SQL 和 Python 创建数据解决方案
- 使用 Delta Lake 支持数据质量、一致性、性能和可靠性
- 为商业智能和分析场景开发并优化数据模型
- 连接包括关系型数据库和 API 在内的各种数据源与系统
- 与 BI、数据科学、工程和业务团队协作
- 遵循质量保证、数据治理、版本控制和 CI/CD 实践
- 应用生成式 AI 工具和代码助手,提高开发效率与质量
- 支持涉及云、数据和人工智能的全球转型与现代化项目
任职要求
- 具备在生产环境中担任数据工程师的实践经验
- 拥有丰富的 Azure Databricks 实操经验
- 具备高级 PySpark 和 Apache Spark 技能,包括大型数据集处理与调优
- 具备高级 SQL 能力
- 具备使用 Python 进行数据工程的实践经验
- 具备使用 Azure Data Factory 构建和编排数据管道的经验
- 了解跨 Bronze、Silver 和 Gold 层的 ETL/ELT 与 Medallion Architecture
- 具备 Delta Lake 和数据湖仓环境经验
- 了解维度建模和关系型数据建模
- 具备 Git 和版本控制实践经验,有 Bitbucket 经验者优先
- 了解 CI/CD 工具和实践,包括 Azure Pipelines 或 Azure DevOps
- 具备 SQL Server 或 Oracle 等关系型数据库经验
- 工作方式务实、善于分析并专注于解决方案
- 能够独立调查问题并提出改进建议
- 优先考虑具备以下经验或资质者:Kimball 方法和多维模型;Azure Purview 或其他数据治理与目录工具;使用 Azure DevOps 构建数据管道;Spark Structured Streaming 或 Azure Event Hubs 等流处理技术;Erwin 或同类工具;GitHub Copilot、Databricks Assistant 或类似 AI 工具;以及 Azure DP-203 或 Databricks 认证
福利待遇
- 医疗和牙科保险
- 餐费和食品津贴
- 育儿援助
- 延长的育儿假
- 通过 Wellhub(Gympass)和 TotalPass 使用健身房及健康与保健服务
- 利润分享和基于业绩的奖金(PLR)
- 人寿保险
- 通过 CI&T University 持续学习
- 折扣俱乐部会员资格
- 免费在线资源,支持身体和心理健康与福祉
- 孕期和负责任育儿课程
- 与在线课程提供商合作
- 语言学习平台
- 为残障人士提供招聘支持和便利措施
- 专门的健康与福祉团队
- 包容性专家和员工兴趣小组
