高级 Azure Databricks 数据工程师
使用 Azure Databricks 和 Python 构建数据管道,为 Applaudo 的 AI 企业解决方案提供支持。 连接企业数据源,构建可靠的数据仓库和集中式数据中心。
描述
- 使用 Azure Databricks 和 Python 构建并维护生产级数据管道。
- 使用 PySpark 或 Spark SQL 创建可扩展的数据转换流程。
- 从 API、关系型数据库、云存储和 SFTP 接入并处理数据。
- 将工单、CRM、营销、零售及其他企业平台的数据汇入集中式数据中心。
- 开发并维护数据仓库结构、维度模型和数据集市。
- 编写、优化并维护 SQL 转换逻辑。
- 添加数据质量验证和一致性检查。
- 为第三方系统创建并维护出站数据馈送。
- 调查数据差异并解决管道问题。
- 记录数据管道、转换逻辑、依赖关系和技术流程。
- 与同事及利益相关方协作,明确需求、识别风险并交付可靠的数据解决方案。
- 及早同步进展、阻碍和潜在延误,并提出后续步骤。
任职要求
- 至少五年专业数据工程经验。
- 具备扎实的 Azure Databricks 实践经验。
- 具备高级 Python 技能,能够用于数据处理、转换和管道开发。
- 熟练掌握 Apache Spark,包括 PySpark 和/或 Spark SQL。
- 具备高级 SQL 技能,包括复杂转换、数据验证和查询性能优化。
- 扎实掌握数据仓库和维度建模,包括事实表、维度表和数据集市。
- 具备连接 REST API、关系型数据库、云存储和 SFTP 的经验。
- 具备 Microsoft Azure 数据服务的实际经验。
- 具备添加数据质量检查并验证源系统与目标模型之间一致性的经验。
- 能够诊断管道故障并调查数据差异。
- 能够独立工作、主动承担责任,并遵循工程和文档规范。
- 具备良好的英语沟通能力。
- 能够与美国团队有效协作。
- 具备将 SQL 工作负载迁移至 Azure Databricks 的经验者优先。
福利待遇
- 远程工作。
- 有机会快速学习并承担责任。
- 与优秀团队共事。
- 投入采用现代化工作方式。
- 参与大规模 AI 原生转型。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
