高级数据工程师
为 CGI 咨询客户测试 ETL 流水线和企业数据平台。使用 SQL、Databricks、Spark、Python、Hadoop 和 Azure Data Factory 验证数据质量。
描述
- 为企业数据平台、ETL/ELT 流水线和数据集成制定并执行测试计划、场景和用例。
- 端到端测试 ETL 工作流，检查源系统与目标系统之间的准确性、完整性、转换逻辑、对账情况和数据质量。
- 编写并执行复杂 SQL 查询，用于后端和数据验证。
- 使用 Databricks、Apache Spark、PySpark、Python、Hive、Hadoop/HDFS 和 Azure Data Factory (ADF) 测试大规模数据处理。
- 对流水线和应用开展功能、集成、回归、系统及数据质量测试。
- 在 Control-M 和 Unix/Linux 环境中检查批处理、计划安排、依赖关系和工作流。
- 记录、跟踪并重新测试缺陷，与开发人员、数据工程师、业务分析师及其他相关方协作，直至问题解决。
- 在适用情况下构建并维护可复用的测试脚本和自动化方案。
- 参与敏捷/Scrum 工作，包括冲刺规划、需求梳理、每日站会、评审和回顾。
任职要求
- 至少 8 年软件质量工程或测试经验。
- 具备扎实的 ETL 测试、数据验证、集成测试和回归测试背景。
- 具备扎实的 SQL 实操能力，包括用于源到目标验证、对账和数据质量检查的复杂查询。
- 有测试大规模数据平台和 ETL/ELT 流水线的经验。
- 具备 Databricks、Apache Spark、PySpark、Python 和 Azure Data Factory (ADF) 的实操经验。
- 具备 Hadoop 生态工具经验，包括 Hadoop/HDFS 和 Hive。
- 具备 Unix/Linux 环境以及 Control-M 等企业级调度工具的使用经验。
- 深入理解数据质量、转换、映射和源到目标验证。
- 有在敏捷/Scrum 交付环境中进行缺陷和测试管理的经验。
- 具备出色的分析、故障排查、沟通和协作能力。
- 能够在美国境内任意地点远程工作。
- 成功通过背景调查。
福利待遇
- 有竞争力的薪酬和利润分享计划。
- 医疗、牙科和视力保险。
- 基本人寿保险及意外身故和伤残保险。
- 提供雇主配比缴款的 401(k) 计划。
- CGI 员工购股计划。
- 灵活的工作安排，并提供每年 10 至 20 天的带薪累积休假。
- 每年 10 天带薪假日。
- 至少连续 80 小时的带薪病假和安全假。
- 20 至 70 个连续工作日的带薪育儿假。
- 每年 1 至 7 天丧假。
- 按传唤期限提供带薪陪审员服务假。
- 学习机会和学费援助。
- 健康与身心福祉计划。
- 灵活的混合办公模式。
- 员工资源小组和社区活动。
- 领导力导师指导和职业发展计划。