高级数据工程师（IBM DataStage ETL 与 SQL/PLSQL）— 浦那混合办公
为支付业务构建 IBM DataStage 和 Snowflake 数据管道、模型及报表数据集。 与产品、业务、架构和技术团队合作，支持可扩展集成、分析及 AI 应用场景。
描述
- 参加每日站会，并与产品经理、产品分析师及业务相关方协调。
- 明确产品功能、报表、分析和 AI 应用场景的数据需求。
- 将业务需求转化为技术数据解决方案。
- 开发并改进 Snowflake 管道、转换流程、语义模型、Cortex AI 解决方案、数据质量检查及报表数据集。
- 与架构师和技术团队合作制定解决方案设计。
- 设计数据模型、语义视图、API 和管道。
- 明确源到目标映射及数据治理需求。
- 评估解决方案设计的性能、可扩展性和安全性。
- 使用 IBM DataStage 开发并支持企业级 ETL 解决方案和数据管道。
- 按照企业架构标准交付可靠的数据集成。
- 创建可扩展的管道并改进数据流转。
- 支持数据仓库、数据湖和 Lakehouse 平台。
- 支持企业分析和报表工作。
- 与业务和技术团队协作。
- requirementsPlaceholder
任职要求
- 具备至少六年相关工作经验。
- 熟练掌握 IBM DataStage 11.7 或更高版本的实际应用，包括并行作业、顺序作业、参数集、监控、管理和性能调优。
- 具备高级 SQL 和 PL/SQL 开发技能。
- 拥有丰富的 Oracle 和 DB2 使用经验。
- 使用 DataStage 和企业级管道设计、开发、测试、部署并支持复杂 ETL/ELT 解决方案。
- 构建可复用的 DataStage ETL 框架，包括参数化作业、元数据驱动解决方案和自动化工作流。
- 将业务和技术需求转化为可扩展的 ETL 设计及数据集成解决方案。
- 使用 DataStage 执行数据提取、转换、验证、清洗、核对和加载。
- 通过 DataStage 集成 Oracle、DB2、SQL Server、Snowflake、平面文件、XML、JSON、Parquet 和云存储。
- 能够处理涵盖结构化、半结构化和非结构化数据的多个源系统与目标系统。
- 精通 Unix shell 脚本，并具备 Airflow 或 Astronomer 等工作流编排工具的使用经验。
- 具备 Snowflake 管道、转换流程、语义模型、Cortex AI 解决方案、数据质量检查及报表数据集方面的经验。
- 具备数据仓库、数据湖和 Lakehouse 平台方面的经验。
- 具备支付处理经验者优先。
- 具备处理 PCI 或 PII 敏感数据的经验者优先。
- 具备敏捷开发经验者优先。
福利待遇
- 可获得面向全球市场的职业发展机会。
- 探索跨境的职位与发展机会。
- 加入具有全球视野的包容性团队。
- 向行业专家学习并发展职业生涯。