AVANTTi
AVANTTi
51 – 200 员工
制造业咨询物流
AVANTTi 是一家巴西技术服务公司,专注于帮助组织将技术与创新计划转化为可衡量的业务价值。其服务包括 IT 人员配置与人才寻访、快速组建团队、运用 ABAP、Java 和 .NET 等技术的软件工厂交付,以及通过 VMO(价值管理办公室)方法开展项目组合和 SAFe 管理。AVANTTi 为银行、制造、物流、零售和教育等行业的组织提供数字化转型与企业 IT 交付支持,并在库里蒂巴、圣保罗和里约热内卢开展业务。

高级 Azure Databricks 数据工程师

在 AVANTTi 担任高级数据工程师,构建 Azure Databricks 数据管道及 ETL/ELT 工作流。 为分析和业务需求提供可扩展的企业数据系统支持。

描述

  • 使用 Azure Databricks、PySpark、Azure Data Factory、Python 和 Azure Data Lake 构建并优化数据管道。
  • 开发和维护用于企业集成与分析的 ETL/ELT 工作流。
  • 从多个系统摄取、转换、验证和核对数据。
  • 对数据进行画像和分析,以发现质量问题并保障其一致性与可靠性。
  • 编写并调优复杂 SQL 查询,以提高数据处理效率。
  • 排查大规模工作负载中的问题并提升性能。
  • 解决影响 Azure Data Factory 管道、Databricks 作业和数据工作流的二级生产事故。
  • 监控并支持生产管道,确保可用性、可扩展性和运营效率。
  • 协助在开发、预发布和生产环境中进行部署与发布。
  • 协调多个项目的优先级,独立开展工作并按时完成任务。

任职要求

  • 拥有八年以上数据工程经验。
  • 具备数据工程和 ETL 开发的实践经验。
  • 拥有扎实的 Azure Databricks 和 Azure Data Factory (ADF) 实际应用经验。
  • 具备高级 ETL/ELT 开发和数据转换技能。
  • 具备高级 SQL 技能,包括编写、优化和调优复杂查询。
  • 具备 Python 和 PySpark 使用经验。
  • 具备 Azure Data Lake 和企业数据集成经验。
  • 具备数据分析、验证、画像和质量保证经验。
  • 具备支持、监控和排查生产管道问题的经验。
  • 能够独立工作、保持条理并管理优先级。
  • 具备出色的口头和书面沟通能力。
  • 英语水平高级。
  • 优先考虑:具备 CI/CD 管道和 DevOps 实践经验。
  • 优先考虑:熟悉 Git、Azure DevOps 或同类版本控制与部署工具。
  • 优先考虑:熟悉云监控、日志记录和可观测性工具。

福利待遇

  • 签订 CLT 劳动合同。
  • 完全远程办公。

相关职位