Acuity
Acuity
Acuity 是一家总部位于亚特兰大的工业技术公司,专注于照明和建筑管理解决方案。旗下 Acuity Brands Lighting 和 Acuity Intelligent Spaces 约有 13,000 名员工,致力于开发智能照明产品和智能空间管理工具,帮助客户改善体验、提升生产力并推进可持续发展。公司将数据互操作性与先进技术平台相结合,以应对建筑、咨询和能源相关环境不断变化的需求。

Acuity 高级数据工程师 — 爱尔兰科克(现场办公)

为 Acuity 的工业技术业务构建 Databricks 和 Azure 湖仓流水线。 打造可靠的数据产品,支持报表、分析、人工智能和下游应用。

描述

  • 使用 Databricks、Python/PySpark、SQL、Delta Lake 和 Azure 构建并优化可扩展的 ETL/ELT 流水线。
  • 通过批处理和流处理工作流,从数据库、API、文件、SaaS 应用及事件源摄取数据。
  • 采用元数据驱动和配置驱动的方法,开发可复用的 bronze、silver 和 gold 数据集。
  • 实现增量处理、架构演进、错误处理、恢复、核对及审计控制。
  • 应用数据质量规则、测试、数据沿袭和监控,产出可信的数据产品。
  • 与架构师、分析师及业务团队合作,定义源到目标映射、业务规则和验收标准。
  • 为 Power BI、企业报表、分析、数据科学、人工智能及下游应用准备高性能数据集。
  • 提升流水线、SQL、Spark 工作负载、存储和表设计的可靠性、性能并优化成本。
  • 使用 Git 和 Azure DevOps 管理待办事项、用户故事、分支、拉取请求、CI/CD、发布和可追溯性。
  • 编写单元、集成和核对测试,并参与设计评审和代码评审。
  • 监控生产流水线、处理事件、调查根本原因并记录运维流程。
  • 开发可复用组件和工程标准,指导同事,并支持 DCoE 数据团队持续改进。

任职要求

  • 至少 5–6 年数据工程实践经验,能够构建生产级流水线和数据产品。
  • 熟悉 Databricks、Azure Data Lake、Delta Lake、Python/PySpark 和 SQL。
  • 深入理解 ETL/ELT、数据集成、湖仓架构以及 bronze、silver、gold 设计模式。
  • 具备数据质量、核对、架构管理、编排、性能调优和生产支持经验。
  • 了解报表与分析,包括 Power BI 或类似 BI 工具使用整理后数据的方式。
  • 具备敏捷交付、Git、CI/CD、DevOps 实践和 Azure DevOps 实操经验。
  • 拥有计算机科学、信息系统、工程或相关领域的学士学位,或具备同等实践经验。
  • 持有 Databricks 或 Microsoft Azure 认证。
  • 具备供应链、制造、ERP、运营或工业数据相关工作经验。
  • 具备流处理、Unity Catalog、元数据驱动框架、数据治理或 AI/ML 数据准备经验。
  • 具备出色的分析能力和结构化问题解决能力。
  • 能够清晰地与技术和业务受众沟通。
  • 善于协作并具有强烈的责任意识。
  • 能够平衡质量、速度、可维护性和运营需求。
  • 能够指导工程师,并通过设计评审、代码评审和可复用工程实践改进标准。

福利待遇

  • 医疗保险保障
  • 牙科保障
  • 视力保险计划
  • 401(k) 福利
  • 根据职位而定的佣金或激励性薪酬

相关职位