高级 AWS 技术负责人，数据工程——浦那现场办公
负责为企业客户设计和交付可扩展的 AWS 数据平台。 使用 SQL、Python、Spark 和基础设施自动化构建安全的批处理与流式数据管道。
描述
- 设计符合企业标准的 AWS 数据工程解决方案
- 使用 AWS 原生技术和开源技术开发并优化批处理与流式数据管道
- 为分析工作负载创建 SQL 转换和 Python 管道
- 为可扩展性、性能和成本效率进行数据建模
- 管理从开发到生产支持的数据工程工作
- 提升性能、控制成本并规划平台容量
- 通过根因分析诊断复杂的数据管道和生产故障
- 交付符合安全性、可靠性和可扩展性要求的解决方案
- 与架构师、产品负责人和客户利益相关者协作
- 将业务和分析需求转化为可靠的 AWS 数据解决方案
- 提供技术估算、实施指导和权衡分析
- 支持解决方案规划和技术设计评审
- 应用并改进编码标准、文档和数据工程实践
- 参与代码评审和持续改进工作
- 确保符合 AWS、安全和监管要求
任职要求
- 具备 6 至 10 年专业工作经验
- 熟悉 AWS 数据服务，包括 Amazon S3、Glue、Athena 和 Redshift，并具备丰富的实际操作经验
- 设计云原生 AWS 数据湖和数据仓库架构
- 深入理解批处理和流式数据管道设计
- 构建可扩展且具备容错能力的数据摄取和转换工作流
- 使用高级 SQL 进行转换、聚合、分析和性能调优
- 处理 Amazon Redshift 和 Athena 中的大型数据集
- 为数据工程应用编写符合生产质量要求的 Python 代码
- 创建可复用的 ETL 组件、工具和管道
- 应用数据建模、转换和性能优化原则
- 使用 Spark、PySpark 或同类分布式处理框架
- 处理结构化、半结构化和非结构化数据
- 理解模式设计、分区和查询优化
- 使用 Terraform 和/或 CloudFormation 实现基础设施即代码
- 构建并维护数据平台的 CI/CD 管道
- 使用 Docker 和 ECS/EKS 等容器化工作负载
- 对解决方案质量、性能和生产稳定性负责
- 与架构师、DevOps、QA 及业务利益相关者有效沟通
- 拥有计算机科学、信息系统、数据工程或相关专业的学士或硕士学位
- 持有 AWS Data Analytics 或 Solutions Architect 认证，并具备所列认证中的任意两项
- 拥有 Databricks、Snowflake 或其他云数据平台认证者优先
- 能够在印度标准时间 12:00–21:00 或 14:00–23:00 任一时段工作