数据工程分析师(AWS、Spark)— 墨西哥远程
在 Blend360(AI 服务提供商)构建和运维 AWS 数据管道与数据湖架构。 使用 Spark、Glue、S3 和 Iceberg 交付可扩展的数据解决方案。
描述
- 构建和维护可扩展的数据管道与数据摄取框架,以支持批处理、流处理和变更数据捕获工作负载。
- 使用 Apache Spark 和 PySpark 开发并优化大规模数据处理工作流。
- 使用 S3 和 Apache Iceberg 实施和管理 AWS 数据湖。
- 使用 AWS Glue 编排 ETL,使用 Athena 执行无服务器查询,并使用 Lambda 进行事件驱动处理。
- 使用 AWS IAM 配置数据访问控制和安全措施。
- 与分析师、数据科学家和平台工程师合作,将数据需求转化为可投入生产的解决方案。
- 监控管道运行状况并解决数据质量问题。
- 提升数据可靠性和新鲜度。
- 记录数据流、架构决策和工程标准。
任职要求
- 具备 AWS Glue、S3、Athena 和 IAM 等服务的高级实操经验。
- 具备使用 Apache Spark 或 PySpark 处理数据的经验。
- 了解数据湖架构;具备 Apache Iceberg 经验者优先。
- 具备批处理、流处理和变更数据捕获摄取模式的经验。
- 具备使用 SQL 进行查询、验证和探索性分析的经验。
- 深入理解数据建模和大规模数据处理。
- 能够跨团队协作,并向非技术相关方清晰解释技术概念。
- 具备基础设施即代码或编排工具经验者优先,例如 Airflow、Step Functions 或 dbt。
- 熟悉 AI 辅助开发工作流和工程效率工具。
- 英语水平高级,能够与全球团队沟通。
- 具备至少两年数据工程或相关岗位经验。
- 具备构建和维护云数据管道及 AWS 数据湖架构的实操经验。
福利待遇
- 圣诞奖金。
- 储蓄基金。
- 餐饮和杂货代金券。
- 居家办公补贴。
- MetLife 人寿保险,含丧葬保障。
- MetLife 医疗保险,含牙科折扣和视力保障计划。
- 可自费为受抚养人投保。
- 年假天数随任职年限增加。
- 假期津贴。
- 法定公共假日。
- 圣周假期。
- 亡灵节假期。
- 平安夜假期。
- 灵活的工作安排。
- 学习计划、课程和职业发展机会。
- 提供英语课程,支持职业沟通。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
