AWS Glue 数据管道测试工程师(印度混合办公合同岗)
负责测试 AWS Glue 数据管道和文件处理集成,确保质量、对账、韧性、安全性和运营就绪性。工作涵盖 AWS 工作流验证、监控、恢复和端到端测试。
描述
- 建立并验证数据质量规则,涵盖完整性、准确性、一致性、有效性、唯一性、及时性、引用完整性、业务规则合规性以及架构或元数据一致性。
- 对数据管道组件执行功能测试。
- 开展端到端集成测试。
- 根据预期结果验证处理后的数据。
- 对源数据和目标数据进行对账,以识别差异。
- 针对旧版接口执行并行测试。
- 变更后执行回归测试。
- 测试相互连接组件之间的系统级集成。
- 协助开展用户验收测试。
- 测试无效输入和预期的故障条件。
- 评估异常处理和错误路径。
- 衡量预期负载和高容量负载下的性能。
- 评估管道的可扩展性。
- 验证重启和恢复流程。
- 测试故障转移行为和系统韧性。
- 验证安全控制和访问权限。
- 开展生产环境冒烟测试。
- 验证运营流程和监控覆盖范围。
任职要求
- 具备 AWS Glue Jobs 实际操作经验。
- 具备 AWS Glue Workflows 实际操作经验。
- 具备 Amazon S3 使用经验。
- 具备 Amazon CloudWatch 使用经验。
- 具备 AWS IAM 使用经验。
- 具备 Amazon EventBridge 使用经验。
- 具备 AWS Lambda 使用经验。
- 具备 Amazon SNS 使用经验。
- 具备 Amazon SQS 使用经验。
- 具备 AWS Secrets Manager 使用经验。
- 具备 AWS Step Functions 使用经验。
- 具备 AWS KMS 使用经验。
- 能够检查 AWS 控制台配置、作业参数、日志、指标和执行历史记录。
- 具备数据管道和文件处理接口测试经验。
- 深入理解入站和出站数据文件处理及管道工作流。
- 具备通过 S3、SFTP/FTPS、AWS Transfer Family、API 和外部合作伙伴端点测试入站和出站文件传输的经验,包括身份验证、连接、重试、超时和交付验证。
