ETL开发工程师（Python与PostgreSQL）
将 IBM DataStage 和 Oracle 工作负载迁移到 Python 与 PostgreSQL，升级 ETL 流程。 加入 DATAGROUP Polska，支持旧系统升级以及向云平台和开源平台迁移。
描述
- 为 ETL 工作流构建 Python 组件
- 将 ETL 流程从 IBM DataStage 和 Oracle 迁移到 Python 与 PostgreSQL
- 从多个来源提取数据，应用业务规则，并将数据加载到 PostgreSQL
- 与数据架构师及相关方协作，明确数据需求
- 建立数据流模型并制定转换规则
- 开发 PostgreSQL 查询、存储过程和函数
- 提升 ETL 的性能、可扩展性和资源利用效率
- 优化 PostgreSQL 查询
- 创建并维护数据质量检查，包括自动化测试、数据核对脚本和异常告警
- 跟踪 ETL 作业和数据库运行状况
- 调查故障和性能问题，并实施修复与改进
- 维护 ETL 流程、数据字典、数据血缘和运维手册的文档
- 解决跨系统数据问题
- 通过根因分析和补救计划支持事件响应
- 审查代码、指导初级开发人员并加强团队实践
- 参与技术更新、旧系统现代化以及云平台和开源平台迁移
任职要求
- 具备扎实的 Python 开发能力，并有数年实际经验
- 熟练掌握 PostgreSQL 和 SQL
- 有 ETL 经验者优先
- 具备较强的分析能力
- 务实且注重解决问题
- 能够独立工作
- 有概念设计工作经验
- 深入理解数据
- 能够独立且有条理地工作
- 英语书写和口语能力优秀
- 有 IBM DataStage 和 Oracle 使用经验
- 具备数据建模、转换逻辑、SQL 查询、存储过程和 PostgreSQL 函数方面的经验
- 具备查询调优和 ETL 工作流优化经验
- 具备创建数据验证和质量检查的经验
- 具备监控 ETL 作业和数据库运行状况的经验
- 具备编写 ETL 流程、数据字典、数据血缘和运维手册文档的经验
- 具备解决跨系统数据问题并支持事件响应的经验
- 能够参与代码审查并指导初级开发人员
福利待遇
- 工作时间灵活
- 可在波兰境内远程工作
- 协作融洽、彼此信任的工作环境
- 组织层级扁平，决策迅速
- 提供个性化培训机会
- 具有吸引力的技术挑战
- 社会福利