数据分析工程师助理——FINNOMENA，泰国混合办公
负责 SQL、Python 和 PySpark 流程，重点支持 Google Cloud 数据摄取、数据质量、监控与分析工作。 适合参与批处理与流式数据管道的开发、维护及下游数据准备。
描述
- 使用 SQL、Python 和 PySpark 构建并维护所分配的批处理 ETL 和 ELT 工作流
- 支持从数据库、API、文件和 Google Workspace 来源摄取数据
- 执行基础数据清洗、转换以及源到目标验证
- 参与使用 Google Cloud Pub/Sub 和 Datastream 构建及维护流式数据管道
- 创建并维护缺失、重复、无效和延迟数据检查
- 跟踪批处理与流式工作流、数据新鲜度及整体管道健康状况
- 检查日志、解决常规问题，并升级处理更复杂的事件
- 支持经授权的管道重新运行和数据重新处理活动
- 整理供下游分析和报告使用的数据集
- 协助维护跟踪管道状态和数据质量的仪表板
- 记录数据映射、转换逻辑、验证标准和故障排查流程
- 使用 Git，并参与代码审查和发布前测试
任职要求
- 欢迎应届毕业生及拥有最多两年相关经验的候选人
- 掌握 SQL、Python 和 PySpark
- 能够构建并维护批处理 ETL 和 ELT 工作流
- 能够支持从数据库、API、文件和 Google Workspace 来源摄取数据
- 了解数据清洗、转换以及源到目标验证实践
- 能够参与使用 Google Cloud Pub/Sub 和 Datastream 构建的流式数据管道
- 能够创建并维护数据质量检查
- 能够监控管道、检查日志并解决常规问题
- 能够记录数据映射、转换逻辑、验证标准和故障排查流程
- 具有 Git、代码审查和软件测试经验或相关了解
- 熟悉 BigQuery、Dataform、Google Cloud Storage、Managed Service for Apache Airflow、Managed Service for Apache Spark、Pub/Sub 和 Datastream 等 Google Cloud 服务
福利待遇
- 获得参与团队 Google Cloud 数据平台实际工作的经验
- 获得经验丰富的同事提供的指导和代码审查支持