高级数据工程师,ClickHouse 基础设施 — Solidus Labs(英国,混合办公)
高级数据工程师负责扩展支撑 Solidus Labs 交易监控平台的 ClickHouse 基础设施。该职位涵盖高吞吐数据管道、集群架构、可靠性和可观测性,涉及实时与批处理工作负载。
描述
- 设计并优化 ClickHouse 数据架构,包括表引擎、分区、物化视图和存储策略
- 管理 ClickHouse 集群规模、拓扑结构和容量规划,以支持实时数据摄入和 T+1 批处理
- 主导 ClickHouse 及相关管道中的数据可靠性和去重实践
- 构建并改进复制、合并、查询延迟和资源使用情况的监控、告警与可观测性体系
- 担任公司的 ClickHouse 专家,指导工程团队进行查询优化和数据建模
- 与 ClickHouse 供应商合作调查问题、评估功能并交付改进方案
- 与分析、机器学习和产品团队合作,改进存储、模式、格式和查询性能
- 制定并维护 ClickHouse 模式版本管理和数据治理标准
任职要求
- 计算机科学学士学位
- 至少五年使用 Java、Rust 或 Python 进行软件工程实践的经验
- 八年或以上为高吞吐、低延迟生产环境构建数据工程系统和管道的经验
- 具有开发低延迟实时系统的专业经验,能够每天处理数十亿个事件
- 深入的 ClickHouse 实践知识,包括集群架构、表引擎、复制、分片和查询优化
- 具备 Apache Kafka、Spark、Airflow、Kubernetes、Redis、Snowflake 和缓存系统方面的丰富经验
- 具备出色的 SQL 和查询调优能力,包括 ClickHouse 物化视图、投影、TTL 以及 MergeTree 优化
- 具有使用 Prometheus、Grafana 等可观测性平台的经验
- 展现出好奇心、独立性和主动发现并交付解决方案的能力
- 具备出色的书面和口头沟通能力,能够指导并影响分布式团队中的工程师
