Applaudo
Applaudo
501 – 1,000 员工
咨询市场营销物流
Applaudo 是一家专注于帮助组织实现技术现代化并推动数字化转型的近岸软件开发公司。公司成立于 2013 年,融合软件工程与咨询专业能力,服务领域涵盖创新与体验设计、应用开发与维护、质量保证、云解决方案、人工智能、网络安全、数据解决方案以及应用现代化。Applaudo 为体育、媒体与娱乐、零售、快速消费品和金融服务等行业的客户提供服务,支持旨在改善数字产品、基础设施和 IT 交付的项目。Applaudo 总部位于得克萨斯州奥斯汀,并在圣萨尔瓦多设有办公室,拥有一支 501 至 1,000 人的团队,为科技和数字服务领域的企业提供支持。

高级 Azure Databricks 数据工程师

使用 Azure Databricks 和 Python 构建数据管道,为 Applaudo 的 AI 企业解决方案提供支持。 连接企业数据源,构建可靠的数据仓库和集中式数据中心。

描述

  • 使用 Azure Databricks 和 Python 构建并维护生产级数据管道。
  • 使用 PySpark 或 Spark SQL 创建可扩展的数据转换流程。
  • 从 API、关系型数据库、云存储和 SFTP 接入并处理数据。
  • 将工单、CRM、营销、零售及其他企业平台的数据汇入集中式数据中心。
  • 开发并维护数据仓库结构、维度模型和数据集市。
  • 编写、优化并维护 SQL 转换逻辑。
  • 添加数据质量验证和一致性检查。
  • 为第三方系统创建并维护出站数据馈送。
  • 调查数据差异并解决管道问题。
  • 记录数据管道、转换逻辑、依赖关系和技术流程。
  • 与同事及利益相关方协作,明确需求、识别风险并交付可靠的数据解决方案。
  • 及早同步进展、阻碍和潜在延误,并提出后续步骤。

任职要求

  • 至少五年专业数据工程经验。
  • 具备扎实的 Azure Databricks 实践经验。
  • 具备高级 Python 技能,能够用于数据处理、转换和管道开发。
  • 熟练掌握 Apache Spark,包括 PySpark 和/或 Spark SQL。
  • 具备高级 SQL 技能,包括复杂转换、数据验证和查询性能优化。
  • 扎实掌握数据仓库和维度建模,包括事实表、维度表和数据集市。
  • 具备连接 REST API、关系型数据库、云存储和 SFTP 的经验。
  • 具备 Microsoft Azure 数据服务的实际经验。
  • 具备添加数据质量检查并验证源系统与目标模型之间一致性的经验。
  • 能够诊断管道故障并调查数据差异。
  • 能够独立工作、主动承担责任,并遵循工程和文档规范。
  • 具备良好的英语沟通能力。
  • 能够与美国团队有效协作。
  • 具备将 SQL 工作负载迁移至 Azure Databricks 的经验者优先。

福利待遇

  • 远程工作。
  • 有机会快速学习并承担责任。
  • 与优秀团队共事。
  • 投入采用现代化工作方式。
  • 参与大规模 AI 原生转型。

相关职位

未找到职位

尝试调整或清除筛选条件,以查看更多机会。