
高级 Azure 数据工程师
使用 Azure Data Factory、SSIS、SQL 和 ETL 解决方案,升级 Datavail 的企业数据平台。 支持生产环境数据集成和云迁移项目。
描述
- 构建并维护可扩展的 ETL/ELT 数据管道和解决方案。
- 增强企业数据仓库。
- 评估 SSIS 包,并使用 Azure Data Factory 和云架构进行现代化改造。
- 优化数据摄取、转换和集成工作流。
- 开发高级 SQL,并为大型数据集调优查询。
- 集成 REST API、外部系统和基于文件的接口。
- 维护 SFTP 和批量数据交换。
- 处理生产环境事件,找出根本原因并防止问题再次发生。
- 通过数据核对和异常处理验证并监控数据质量。
- 与业务及技术合作伙伴收集需求并交付数据解决方案。
- 为数据工程建立 CI/CD 管道和源代码管理实践。
- 支持涵盖本地和云端系统的环境。
- 参与架构评审并提出现代化方案。
- 覆盖北美业务时段,通常工作至美国东部时间下午 3:00–4:00,班次可能采用错峰安排。
任职要求
- 学士学位。
- 至少 8 年数据工程、ETL 开发或数据仓库相关经验。
- 精通 Microsoft SQL Server 和高级 T-SQL。
- 具备 Azure Data Factory 实操经验。
- 拥有丰富的 ETL/ELT 数据管道设计和构建经验。
- 具备扎实的 SSIS 开发、故障排查、迁移和现代化改造经验。
- 了解数据仓库和维度模型,包括事实表与维度表模型、星型架构和雪花架构。
- 具备大型数据集处理和 SQL 性能调优经验。
- 具备 REST API 和外部数据提供方集成经验。
- 具备 SFTP 和基于文件的集成经验。
- 了解数据验证、核对和质量控制。
- 具备生产环境支持和故障排查能力。
- 具备 Git、源代码管理、CI/CD 和部署自动化经验。
- 具备本地、混合云和云端数据平台经验。
- 优先条件:接触过 AI 赋能的数据工程、Azure OpenAI Service 或 OpenAI API 集成、Python AI 自动化、RAG、嵌入向量和向量数据库。
- 优先条件:熟悉 Python、PySpark、Databricks、Snowflake、Azure Synapse Analytics、Microsoft Fabric、MongoDB 或 NoSQL、PowerShell,以及数据湖或湖仓架构。
- 能够在较少监督下独立工作。
- 具备出色的分析和解决问题能力。
- 具备支持关键生产环境的经验。
- 能够主导现代化改造工作并提出最佳实践建议。
- 能够与技术和业务相关方有效沟通。
- 能够对交付成果和运营结果负责。
福利待遇
- 描述中注明可远程工作,具体安排受混合办公分类约束。
- 错峰班次可能有助于扩大服务覆盖并保持运营连续性。
- 有机会接触 AI 和生成式 AI 数据工程解决方案。
- 参与企业级数据平台和现代化改造项目。




