Avanade
Avanade
Avanade 为企业提供基于云的链接管理和数字连接工具。其平台支持网址缩短、品牌链接、二维码(包括动态二维码和 GS1 Digital Link 格式)、移动落地页、数字名片、UTM 活动跟踪、链接分析、API 和集成功能。这些能力帮助营销、开发和客户服务团队在数字渠道中创建、管理和衡量客户互动,同时提供面向企业的安全与合规功能。

数据工程师顾问——Databricks 与 Azure(墨尔本现场办公)

使用 Databricks 构建可扩展的 Azure 数据管道和 PySpark 转换流程。支持金融服务领域的分析和数据科学项目。

描述

  • 使用 Azure Data Factory、Databricks 和 Apache Spark 创建并改进可扩展的数据摄取管道
  • 开发和维护 PySpark 笔记本,用于支持数据科学项目的数据准备、转换和丰富
  • 与数据科学家合作,明确需求并按时交付可靠、结构化的数据集
  • 建立数据质量控制、验证规则和监控流程
  • 连接并处理结构化、半结构化和非结构化数据源
  • 将安全、治理和银行合规标准应用于数据解决方案
  • 调优 Azure Spark 工作负载,以提升性能并控制成本
  • 参与代码评审、解决方案设计会议和敏捷活动
  • 维护涵盖数据管道、工作流和技术决策的文档

任职要求

  • 至少具备三年 Azure Databricks 实际操作经验
  • 具备扎实的 Apache Spark 专业知识,尤其熟悉用于分布式处理的 PySpark
  • 具备 Azure Data Factory、Azure Synapse、Azure Blob Storage 和 Delta Lake 经验
  • 了解 ETL/ELT 工作流、数据建模和数据仓库原理
  • 使用 Python 和/或 Scala 进行数据处理
  • 有使用 Azure DevOps、Git 和 Terraform 的 CI/CD 工作流经验者优先
  • 熟悉 SQL、NoSQL 和数据湖架构
  • 了解金融服务领域的数据治理、安全和合规实践
  • 具备较强的分析和问题解决能力
  • 能够与利益相关者有效沟通
  • 能够在跨职能团队中高效工作
  • 具备敏捷思维,并有 Scrum 或类似环境的经验
  • 持有澳大利亚公民身份
  • 有资格申请安全许可
  • 具备计算机科学、信息系统、工程或相关领域的学士或硕士学位者优先
  • 拥有 Databricks Certified Data Engineer Associate 或 Professional 认证者优先
  • 具备银行或金融服务行业经验者优先