Applaudo
Applaudo
501 – 1,000 员工
咨询市场营销物流
Applaudo 是一家专注于帮助组织实现技术现代化并推动数字化转型的近岸软件开发公司。公司成立于 2013 年,融合软件工程与咨询专业能力,服务领域涵盖创新与体验设计、应用开发与维护、质量保证、云解决方案、人工智能、网络安全、数据解决方案以及应用现代化。Applaudo 为体育、媒体与娱乐、零售、快速消费品和金融服务等行业的客户提供服务,支持旨在改善数字产品、基础设施和 IT 交付的项目。Applaudo 总部位于得克萨斯州奥斯汀,并在圣萨尔瓦多设有办公室,拥有一支 501 至 1,000 人的团队,为科技和数字服务领域的企业提供支持。

高级 Azure Databricks 数据工程师

使用 Azure Databricks 和 Python 构建数据管道,支持 Applaudo 的 AI 企业解决方案。 将业务数据接入可扩展、可靠的数据中心与数据仓库。

描述

  • 使用 Azure Databricks 和 Python 构建并维护可投入生产的数据管道。
  • 使用 PySpark 或 Spark SQL 创建可扩展的数据转换流程。
  • 从 API、关系型数据库、云存储和 SFTP 接入并处理数据。
  • 将工单、CRM、营销、零售及其他企业平台连接到集中式 Data Hub。
  • 开发并维护数据仓库结构、维度模型和数据集市。
  • 编写、调优并维护 SQL 转换逻辑。
  • 添加数据质量验证和一致性检查。
  • 为第三方系统构建并维护出站数据流。
  • 调查数据差异并解决管道问题。
  • 记录数据管道、转换逻辑、依赖关系和技术流程。
  • 与同事和利益相关方协作,明确需求并识别风险。
  • 及时同步进度、阻碍因素和潜在延误,并提出保持交付按计划推进的措施。

任职要求

  • 至少五年专业数据工程经验。
  • 具备扎实的 Azure Databricks 实践经验。
  • 具备高级 Python 技能,可用于数据处理、转换和管道开发。
  • 具备扎实的 Apache Spark 经验,包括 PySpark 和/或 Spark SQL。
  • 具备高级 SQL 技能,包括复杂转换、数据验证和查询性能调优。
  • 深入了解数据仓库和维度建模,包括事实表、维度表和数据集市。
  • 具备整合 REST API、关系型数据库、云存储和 SFTP 数据的经验。
  • 具备使用 Microsoft Azure 数据服务进行数据接入、存储、处理和集成的实践经验。
  • 具备实施数据质量检查并验证源系统与目标数据模型之间一致性的经验。
  • 能够诊断管道故障、调查数据差异并实施可靠的修复方案。
  • 具备出色的分析、问题解决和组织能力。
  • 能够独立工作、承担责任,并遵循工程实践和文档标准。
  • 英语沟通能力出色,能够与美国团队协作。
  • 有将基于 SQL 的工作负载迁移到 Azure Databricks 的经验者优先。

福利待遇

  • 可选择远程办公。
  • 有机会快速学习并与优秀团队共事。
  • 采用现代化的工作方式。
  • 参与大规模 AI 原生转型。

相关职位

未找到职位

尝试调整或清除筛选条件,以查看更多机会。