Datavail
Datavail
Datavail 是一家 IT 服务与咨询公司,帮助组织更有效地管理和利用数据。其业务涵盖分析咨询、应用开发与现代化、数据库管理、云迁移和云管理。Datavail 服务于包括医疗保健和物流在内的多个行业,将技术专长与定制化解决方案相结合,以改善数据运营并提升业务效率。

高级 Azure 数据工程师

使用 Azure Data Factory、SSIS、SQL 和 ETL 解决方案,升级 Datavail 的企业数据平台。 支持生产环境数据集成和云迁移项目。

描述

  • 构建并维护可扩展的 ETL/ELT 数据管道和解决方案。
  • 增强企业数据仓库。
  • 评估 SSIS 包,并使用 Azure Data Factory 和云架构进行现代化改造。
  • 优化数据摄取、转换和集成工作流。
  • 开发高级 SQL,并为大型数据集调优查询。
  • 集成 REST API、外部系统和基于文件的接口。
  • 维护 SFTP 和批量数据交换。
  • 处理生产环境事件,找出根本原因并防止问题再次发生。
  • 通过数据核对和异常处理验证并监控数据质量。
  • 与业务及技术合作伙伴收集需求并交付数据解决方案。
  • 为数据工程建立 CI/CD 管道和源代码管理实践。
  • 支持涵盖本地和云端系统的环境。
  • 参与架构评审并提出现代化方案。
  • 覆盖北美业务时段,通常工作至美国东部时间下午 3:00–4:00,班次可能采用错峰安排。

任职要求

  • 学士学位。
  • 至少 8 年数据工程、ETL 开发或数据仓库相关经验。
  • 精通 Microsoft SQL Server 和高级 T-SQL。
  • 具备 Azure Data Factory 实操经验。
  • 拥有丰富的 ETL/ELT 数据管道设计和构建经验。
  • 具备扎实的 SSIS 开发、故障排查、迁移和现代化改造经验。
  • 了解数据仓库和维度模型,包括事实表与维度表模型、星型架构和雪花架构。
  • 具备大型数据集处理和 SQL 性能调优经验。
  • 具备 REST API 和外部数据提供方集成经验。
  • 具备 SFTP 和基于文件的集成经验。
  • 了解数据验证、核对和质量控制。
  • 具备生产环境支持和故障排查能力。
  • 具备 Git、源代码管理、CI/CD 和部署自动化经验。
  • 具备本地、混合云和云端数据平台经验。
  • 优先条件:接触过 AI 赋能的数据工程、Azure OpenAI Service 或 OpenAI API 集成、Python AI 自动化、RAG、嵌入向量和向量数据库。
  • 优先条件:熟悉 Python、PySpark、Databricks、Snowflake、Azure Synapse Analytics、Microsoft Fabric、MongoDB 或 NoSQL、PowerShell,以及数据湖或湖仓架构。
  • 能够在较少监督下独立工作。
  • 具备出色的分析和解决问题能力。
  • 具备支持关键生产环境的经验。
  • 能够主导现代化改造工作并提出最佳实践建议。
  • 能够与技术和业务相关方有效沟通。
  • 能够对交付成果和运营结果负责。

福利待遇

  • 描述中注明可远程工作,具体安排受混合办公分类约束。
  • 错峰班次可能有助于扩大服务覆盖并保持运营连续性。
  • 有机会接触 AI 和生成式 AI 数据工程解决方案。
  • 参与企业级数据平台和现代化改造项目。

相关职位

Egen

首席数据架构师,多云 GCP 与 Azure

Egen

负责 Google Cloud 与 Azure 上的企业数据现代化,包括智能体驱动的迁移、治理和湖仓架构。 从技术战略到交付,主导客户解决方案的设计与实施。

打开