高级数据工程师
构建云原生数据平台和近实时数据管道，同时升级 Spark 与 PySpark 工作负载。 推动 AI 工具和智能体工作流的应用，并参与技术研究与开发。
描述
- 从初始设计到投入生产，构建可扩展的云原生数据平台。
- 采用事件驱动模式开发近实时数据摄取管道。
- 制定并维护数据湖、湖仓、奖章架构和数据契约的平台标准。
- 提升 Spark 和 PySpark 脚本的性能与可维护性。
- 在各数据管道中建立代码质量、测试和 CI/CD 实践。
- 在数据工程团队内推广 AI 工具和智能体工作流。
- 维护各平台和管道的数据质量、可观测性、可扩展性与可靠性。
- 创建自助工具和微服务，让平台更易于使用。
- 与产品、机器学习和数据科学团队合作。
- 参与架构决策以及技术研究与开发。
任职要求
- 具备至少五年的专业数据工程经验。
- 具备扎实的 Python 和 SQL 开发技能。
- 拥有 Apache Spark 和 PySpark 的实践经验，包括查询优化与性能调优。
- 具备 Databricks 或 Snowflake 使用经验。
- 具备至少一种主流云服务平台的实践经验：Azure、AWS 或 GCP。
- 具备 Kafka 或 Spark Structured Streaming 等流处理工具的使用经验。
- 了解 ETL/ELT 模式、数据建模和数据仓库。
- 使用过 Apache Airflow 或 Azure Data Factory 等编排工具。
- 了解 Terraform 等基础设施即代码工具。
- 了解生产系统，包括可观测性、可扩展性、可靠性和性能。
- 能够独立推动技术项目从构想到交付。
- 具备良好的沟通与协作能力。
- 英语水平达到中高级或以上。
福利待遇
- 可远程办公。
