数据工程师 – 浦那，现场办公
在浦那为 Merkle 构建基于 AWS 的数据平台和 ETL 管道。开发 SQL 和 Python 解决方案，提升数据质量，并支持分析交付。
描述
- 在 AWS 上创建可扩展的 ETL 和 ELT 管道
- 为生产工作负载开发 SQL 转换和 Python 数据管道
- 使用 AWS S3、Glue 和 EMR 构建数据摄取工作流
- 设计支持分析的数据模型，同时平衡性能与成本
- 协助在多个环境中部署和运行管道
- 跟踪管道性能、可靠性和数据质量
- 调查管道故障并开展根因分析
- 采用能够提升安全性、可靠性和可扩展性的工程实践
- 与架构师和产品团队合作，明确技术需求
- 将业务和分析需求转化为实用的 AWS 数据解决方案
- 支持文档编写、代码评审和统一工程标准
- 在全球交付环境中，作为个人贡献者参与数据管道、云工程和分析赋能工作
任职要求
- 具备 3 至 7 年相关专业经验
- 掌握 AWS 数据服务的实操知识，包括 S3、Glue、Athena、Redshift 和 EMR
- 具备设计云原生数据湖和数据仓库架构的经验
- 了解批处理，并基本熟悉流处理概念
- 能够熟练使用 SQL 编写复杂查询、连接、聚合和转换
- 曾使用 Redshift 或 Athena 处理大型数据集
- 能够有效使用 Python 进行数据工程和 ETL 开发
- 具备 PySpark 或 Spark 经验者优先
- 了解数据建模、转换设计和性能调优
- 具备使用 Spark 或 PySpark 等分布式处理框架的实践经验
- 能够熟练处理结构化和半结构化数据
- 了解架构演进、数据质量检查和验证逻辑
- 具备使用 Terraform 和/或 CloudFormation 进行基础设施即代码的工作知识
- 具备数据工作负载 CI/CD 管道的基础经验
- 了解使用 CloudWatch 进行日志记录和监控
- 能够与架构师、DevOps、QA 及业务相关方有效协作
- 能够向不同受众清晰解释技术概念
- 持有学士、硕士或同等学历
- 列有 AWS Certified Solutions Architect 或 DevOps – Professional 认证
- 列有 Snowflake Core 认证