远程数据工程分析师——AWS 与 Spark
为 Blend360(人工智能服务提供商)构建可扩展的 AWS 数据管道与数据湖架构。 为全球客户开发基于 Spark 的处理流程和可靠的数据解决方案。
描述
- 构建并维护可扩展的数据管道和数据摄取框架。
- 支持批处理、流处理和变更数据捕获(CDC)。
- 使用 Apache Spark 和 PySpark 创建并优化数据工作流。
- 使用 Amazon S3 和 Apache Iceberg 实施并管理 AWS 数据湖。
- 使用 AWS Glue 编排 ETL,并通过 Athena 执行无服务器查询、通过 Lambda 实现事件驱动处理。
- 使用 AWS IAM 配置数据访问控制和安全措施。
- 与分析师、数据科学家和平台工程师协作,明确需求并交付可用于生产环境的解决方案。
- 监控管道运行状况并解决数据质量问题。
- 提升数据的可靠性和时效性。
- 记录数据流、架构决策和工程标准。
任职要求
- 具备 AWS 服务的高级实操经验,例如 Glue、S3、Athena 和 IAM。
- 具备使用 Apache Spark 和 PySpark 处理数据的经验。
- 了解数据湖架构;有 Apache Iceberg 经验者优先。
- 具备批处理、流处理和变更数据捕获(CDC)摄取模式的经验。
- 能够使用 SQL 进行查询、验证和探索性分析。
- 了解数据建模和大规模数据处理。
- 能够与跨职能团队有效协作。
- 能够向非技术相关方清晰地解释技术概念。
- 具备基础设施即代码或 Airflow、Step Functions、dbt 等编排工具经验者优先。
- 熟悉 AI 辅助开发工作流和工程效率工具。
- 具备高级英语能力,能够与全球团队沟通。
- 拥有至少两年数据工程或相关岗位经验。
- 具备构建和维护云数据管道及 AWS 数据湖架构的实操经验。
福利待遇
- 总部每日提供午餐,包含素食、纯素、无麸质和无糖选项。
- 每周五可在总部享用由现场厨师准备的美食。
- 提供灵活的工作方式。
- 提供 MacBook 和配件。
- 总部每日提供零食和饮品。
- 总部举办下班后活动、足球、网球和游戏之夜。
- 可参加周三和周五的足球联赛。
- 可参加台球活动和办公室奖杯赛。
- 可使用网球场进行友谊赛。
- 提供国际象棋锦标赛、游戏之夜和音乐之夜。
- 提供 AWS 认证支持、学习计划、课程和其他认证支持。
- 提供英语课程。
- 可通过 Tech Tuesdays 参与同伴学习。
- 提供导师指导和发展机会。
- 提供周年纪念和生日礼物。
- 在交通便利的地点与优秀团队共事。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
