高级数据工程师——巴西远程办公
高级远程数据工程师岗位，为 Monte Bravo 构建数据管道和数据湖仓架构。使用 Python、PySpark、AWS 和 dbt，开发创新型金融平台。
描述
- 开发 Python 应用程序和可投入生产的数据管道
- 使用 PySpark 在分布式环境中处理高容量数据集
- 使用 dbt 构建、管理和治理数据转换
- 使用 Airflow 编排数据工作流
- 使用 GitHub 进行版本控制、拉取请求、代码审查和 CI/CD 集成
- 使用 Lambda、CloudWatch、S3、Redshift 和 Aurora 等 AWS 服务
- 实施并使用 Apache Iceberg
- 应用数据湖仓和 Medallion Architecture 架构模式
- 执行 ETL 和 ELT 流程
- 从零开始协助构建没有技术遗留包袱的创新型金融平台
任职要求
- 具备使用 Python 构建高性能、易维护应用程序和数据管道的实践经验
- 具备使用 PySpark 处理大型分布式数据集的经验
- 具备高级 SQL 技能
- 具备使用 dbt 构建和治理数据转换的经验
- 了解如何使用 Airflow 编排数据管道
- 具备扎实的 GitHub 使用经验，涵盖版本控制、拉取请求、代码审查和 CI/CD 集成
- 了解 AWS 服务，尤其是 Lambda、CloudWatch、S3、Redshift 和 Aurora
- 具备 Apache Iceberg 使用经验
- 理解数据湖仓和 Medallion Architecture
- 具备 ETL 和 ELT 工作流经验
- 具备 Databricks 经验者优先
- 了解 Kafka 者优先，尤其是生产者开发和事件驱动消息传递方面
福利待遇
- 获得端到端的职业发展机会
- 支持性强且健康的工作环境
- 参与具有实际意义和现实影响的实践项目
- 鼓励创新、技术责任感和自主性的文化
- 有机会从零开始构建没有技术遗留包袱的平台
- 使用领先工具、成熟最佳实践和创新方法