高级数据工程师——Apache Spark（远程，埃及）
负责开发和优化 Apache Spark 批处理管道，以实现可扩展的数据处理。 构建湖仓数据并协助维护可靠的分析工作流。
描述
- 开发和运营高容量批处理数据管道，确保数据集不断扩展时仍保持高效并控制成本。
- 使用 Apache Spark 创建和维护可扩展的数据处理工作负载。
- 调优管道性能，支持可靠且高效的执行。
- 参与面向分析的数据模型设计。
- 构建湖仓数据，以便下游实际使用。
- 管理自动调度、监控和数据质量验证。
- 与平台和产品团队协作，交付完整的数据流。
任职要求
- 具备经实践证明的 Apache Spark 专业经验，包括在托管笔记本环境之外进行性能调优的经验。
- 具备设计分析数据模型并构建供下游使用的湖仓数据的经验。
- 具备自动调度、管道监控和数据质量验证经验。
- 能够与平台和产品团队协作，贯穿端到端的数据流。
- 熟悉 Apache Iceberg 或同类开放表格式。
- 具备 Trino 或类似查询引擎的使用经验。
- 具备本地部署或自主管理集群的工作经验。