高级 Azure Databricks 数据工程师
使用 Azure Databricks 和 Python 构建数据管道,支持 Applaudo 的 AI 企业解决方案。 将业务数据接入可扩展、可靠的数据中心与数据仓库。
描述
- 使用 Azure Databricks 和 Python 构建并维护可投入生产的数据管道。
- 使用 PySpark 或 Spark SQL 创建可扩展的数据转换流程。
- 从 API、关系型数据库、云存储和 SFTP 接入并处理数据。
- 将工单、CRM、营销、零售及其他企业平台连接到集中式 Data Hub。
- 开发并维护数据仓库结构、维度模型和数据集市。
- 编写、调优并维护 SQL 转换逻辑。
- 添加数据质量验证和一致性检查。
- 为第三方系统构建并维护出站数据流。
- 调查数据差异并解决管道问题。
- 记录数据管道、转换逻辑、依赖关系和技术流程。
- 与同事和利益相关方协作,明确需求并识别风险。
- 及时同步进度、阻碍因素和潜在延误,并提出保持交付按计划推进的措施。
任职要求
- 至少五年专业数据工程经验。
- 具备扎实的 Azure Databricks 实践经验。
- 具备高级 Python 技能,可用于数据处理、转换和管道开发。
- 具备扎实的 Apache Spark 经验,包括 PySpark 和/或 Spark SQL。
- 具备高级 SQL 技能,包括复杂转换、数据验证和查询性能调优。
- 深入了解数据仓库和维度建模,包括事实表、维度表和数据集市。
- 具备整合 REST API、关系型数据库、云存储和 SFTP 数据的经验。
- 具备使用 Microsoft Azure 数据服务进行数据接入、存储、处理和集成的实践经验。
- 具备实施数据质量检查并验证源系统与目标数据模型之间一致性的经验。
- 能够诊断管道故障、调查数据差异并实施可靠的修复方案。
- 具备出色的分析、问题解决和组织能力。
- 能够独立工作、承担责任,并遵循工程实践和文档标准。
- 英语沟通能力出色,能够与美国团队协作。
- 有将基于 SQL 的工作负载迁移到 Azure Databricks 的经验者优先。
福利待遇
- 可选择远程办公。
- 有机会快速学习并与优秀团队共事。
- 采用现代化的工作方式。
- 参与大规模 AI 原生转型。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
