数据工程师顾问——Databricks 与 Azure(墨尔本现场办公)
使用 Databricks 构建可扩展的 Azure 数据管道和 PySpark 转换流程。支持金融服务领域的分析和数据科学项目。
描述
- 使用 Azure Data Factory、Databricks 和 Apache Spark 创建并改进可扩展的数据摄取管道
- 开发和维护 PySpark 笔记本,用于支持数据科学项目的数据准备、转换和丰富
- 与数据科学家合作,明确需求并按时交付可靠、结构化的数据集
- 建立数据质量控制、验证规则和监控流程
- 连接并处理结构化、半结构化和非结构化数据源
- 将安全、治理和银行合规标准应用于数据解决方案
- 调优 Azure Spark 工作负载,以提升性能并控制成本
- 参与代码评审、解决方案设计会议和敏捷活动
- 维护涵盖数据管道、工作流和技术决策的文档
任职要求
- 至少具备三年 Azure Databricks 实际操作经验
- 具备扎实的 Apache Spark 专业知识,尤其熟悉用于分布式处理的 PySpark
- 具备 Azure Data Factory、Azure Synapse、Azure Blob Storage 和 Delta Lake 经验
- 了解 ETL/ELT 工作流、数据建模和数据仓库原理
- 使用 Python 和/或 Scala 进行数据处理
- 有使用 Azure DevOps、Git 和 Terraform 的 CI/CD 工作流经验者优先
- 熟悉 SQL、NoSQL 和数据湖架构
- 了解金融服务领域的数据治理、安全和合规实践
- 具备较强的分析和问题解决能力
- 能够与利益相关者有效沟通
- 能够在跨职能团队中高效工作
- 具备敏捷思维,并有 Scrum 或类似环境的经验
- 持有澳大利亚公民身份
- 有资格申请安全许可
- 具备计算机科学、信息系统、工程或相关领域的学士或硕士学位者优先
- 拥有 Databricks Certified Data Engineer Associate 或 Professional 认证者优先
- 具备银行或金融服务行业经验者优先
