Leega中级GCP数据工程师（远程）
加入Leega，担任GCP数据工程师，构建可扩展的数据管道和现代化数据平台。使用Databricks、Spark、ETL/ELT和Lakehouse架构开展工作。
描述
- 构建和维护可扩展的ETL/ELT数据管道
- 管理GCP环境中的数据摄取、转换和交付
- 使用Spark和PySpark开发Databricks解决方案
- 设计和改进Data Lake、Data Warehouse及Lakehouse架构
- 连接API、数据库、流式平台和其他数据源
- 维护数据质量、治理和平台可靠性
- 跟踪性能并降低云基础设施成本
- 与BI、分析和数据科学团队合作
任职要求
- 至少四年专业数据工程经验
- 实际使用Google Cloud服务的经验，例如BigQuery、Cloud Storage或Dataflow
- 使用Databricks和Spark进行分布式数据处理的经验
- 具备扎实的Python和SQL技能
- 具备关系型和维度型数据建模经验
- 具备使用Airflow或同类工具编排数据管道的经验
- 了解Git和版本控制实践
- 具备使用Delta Lake的经验
- 了解用于基础设施即代码的Terraform
- 具备使用Docker的经验
- 了解Kafka或Pub/Sub等流式技术
- 持有GCP或Databricks认证
- 具备设计Lakehouse架构的经验
- 熟悉Power BI、Looker或Tableau等BI平台
- 了解数据治理和巴西《通用数据保护法》（LGPD）
- 具备中级或高级英语水平
福利待遇
- 持续的职业发展机会
- 完全远程办公
- 欢迎残障人士申请