Blend360
Blend360
Blend360 是一家专业服务公司,借助人工智能、数据分析和数据驱动的解决方案,帮助《财富》1000强企业及其他大型企业应对复杂的业务挑战。其业务涵盖商业智能、数据工程、数据科学、机器学习运营(MLOps)和数据治理,汇聚专业团队与人工智能能力,为医疗保健、金融服务、能源、零售、科技、媒体与电信以及旅游与酒店业等领域的组织提供支持。Blend360 曾获得“年度人工智能赋能解决方案”称号,并入选“2024年生成式人工智能服务提供商百强”。

远程数据工程分析师——AWS 与 Spark

为 Blend360(人工智能服务提供商)构建可扩展的 AWS 数据管道与数据湖架构。 为全球客户开发基于 Spark 的处理流程和可靠的数据解决方案。

描述

  • 构建并维护可扩展的数据管道和数据摄取框架。
  • 支持批处理、流处理和变更数据捕获(CDC)。
  • 使用 Apache Spark 和 PySpark 创建并优化数据工作流。
  • 使用 Amazon S3 和 Apache Iceberg 实施并管理 AWS 数据湖。
  • 使用 AWS Glue 编排 ETL,并通过 Athena 执行无服务器查询、通过 Lambda 实现事件驱动处理。
  • 使用 AWS IAM 配置数据访问控制和安全措施。
  • 与分析师、数据科学家和平台工程师协作,明确需求并交付可用于生产环境的解决方案。
  • 监控管道运行状况并解决数据质量问题。
  • 提升数据的可靠性和时效性。
  • 记录数据流、架构决策和工程标准。

任职要求

  • 具备 AWS 服务的高级实操经验,例如 Glue、S3、Athena 和 IAM。
  • 具备使用 Apache Spark 和 PySpark 处理数据的经验。
  • 了解数据湖架构;有 Apache Iceberg 经验者优先。
  • 具备批处理、流处理和变更数据捕获(CDC)摄取模式的经验。
  • 能够使用 SQL 进行查询、验证和探索性分析。
  • 了解数据建模和大规模数据处理。
  • 能够与跨职能团队有效协作。
  • 能够向非技术相关方清晰地解释技术概念。
  • 具备基础设施即代码或 Airflow、Step Functions、dbt 等编排工具经验者优先。
  • 熟悉 AI 辅助开发工作流和工程效率工具。
  • 具备高级英语能力,能够与全球团队沟通。
  • 拥有至少两年数据工程或相关岗位经验。
  • 具备构建和维护云数据管道及 AWS 数据湖架构的实操经验。

福利待遇

  • 总部每日提供午餐,包含素食、纯素、无麸质和无糖选项。
  • 每周五可在总部享用由现场厨师准备的美食。
  • 提供灵活的工作方式。
  • 提供 MacBook 和配件。
  • 总部每日提供零食和饮品。
  • 总部举办下班后活动、足球、网球和游戏之夜。
  • 可参加周三和周五的足球联赛。
  • 可参加台球活动和办公室奖杯赛。
  • 可使用网球场进行友谊赛。
  • 提供国际象棋锦标赛、游戏之夜和音乐之夜。
  • 提供 AWS 认证支持、学习计划、课程和其他认证支持。
  • 提供英语课程。
  • 可通过 Tech Tuesdays 参与同伴学习。
  • 提供导师指导和发展机会。
  • 提供周年纪念和生日礼物。
  • 在交通便利的地点与优秀团队共事。

相关职位

未找到职位

尝试调整或清除筛选条件,以查看更多机会。