初级数据工程师
加入 Stefanini LATAM，担任初级数据工程师，开发运行在 Google Cloud 上的 ETL 和 ELT 管道。使用 Python、SQL、Spark、BigQuery 和 Airflow 构建云端数据解决方案。
描述
- 设计、开发和维护批处理及事件驱动的 ETL 和 ELT 数据管道
- 在 Google Cloud Platform 上实施数据处理和存储解决方案
- 使用 Python、SQL 以及 Spark 或 PySpark 构建数据处理流程
- 使用 BigQuery、Cloud Storage、Dataflow、Dataproc 和 Pub/Sub
- 使用 Airflow 和 Cloud Composer 实施和维护编排工作流
- 参与 Data Lake、Data Warehouse 和/或 Lakehouse 架构的开发与演进
- 为信息处理和分析设计并优化数据模型
- 通过 CI/CD 和基础设施即代码实践实现流程和部署自动化，优先考虑使用 Terraform
- 建立数据质量、完整性、可追溯性和可用性控制机制
- 优化管道、查询和流程，以提升性能、可扩展性和资源使用效率
- 参与云端数据平台迁移和现代化项目
- 与架构、数据科学、BI、开发及业务团队协作
- 记录已实施的架构、管道、模型和解决方案
- 为团队提供技术支持并推广数据工程最佳实践
任职要求
- 了解 Google Cloud Platform（GCP）
- 具备 BigQuery、Cloud Storage、Dataflow 和/或 Dataproc、Pub/Sub、Python、高级 SQL 以及 Apache Spark 或 PySpark 的经验或知识
- 具备开发 ETL 和 ELT 管道的经验
- 了解数据建模和转换
- 了解用于编排的 Airflow 或 Cloud Composer
- 了解 dbt 和/或 Dataform、Terraform、Git 及 CI/CD 流程者优先
- 了解 Data Lake、Data Warehouse 和/或 Lakehouse 架构
- 了解 Hadoop 和/或 Kafka
- 了解关系型数据库和 NoSQL 数据库
- 了解机器学习和/或 Vertex AI
- 了解数据治理和数据质量
福利待遇
- 未列出具体福利；Stefanini 福利部分存在，但未提供进一步详情
