資深資料工程師,ClickHouse 基礎架構 — Solidus Labs(英國,混合辦公)
資深資料工程師負責擴展支援 Solidus Labs 交易監控平台的 ClickHouse 基礎架構。此職位涵蓋高吞吐量資料管線、叢集架構、可靠性與可觀測性,涉及即時與批次工作負載。
說明
- 設計並最佳化 ClickHouse 資料架構,包括資料表引擎、分割、具體化檢視表與儲存政策
- 管理 ClickHouse 叢集規模、拓撲與容量規劃,以支援即時資料擷取和 T+1 批次處理
- 主導 ClickHouse 及相關管線中的資料可靠性與去重實務
- 建立並強化複寫、合併、查詢延遲與資源使用量的監控、警示及可觀測性
- 擔任公司的 ClickHouse 專家,指導工程團隊進行查詢最佳化與資料建模
- 與 ClickHouse 供應商合作調查問題、評估功能並交付改進方案
- 與分析、機器學習及產品團隊合作,改善儲存、結構描述、格式與查詢效能
- 制定並維護 ClickHouse 結構描述版本管理與資料治理標準
職位要求
- 電腦科學學士學位
- 至少五年使用 Java、Rust 或 Python 進行軟體工程實務的經驗
- 八年或以上為高吞吐量、低延遲生產環境建置資料工程系統與管線的經驗
- 具備開發低延遲即時系統的專業經驗,能夠每天處理數十億個事件
- 具備進階 ClickHouse 實務知識,包括叢集架構、資料表引擎、複寫、分片與查詢最佳化
- 具備 Apache Kafka、Spark、Airflow、Kubernetes、Redis、Snowflake 與快取系統方面的豐富經驗
- 具備專業的 SQL 與查詢調校能力,包括 ClickHouse 具體化檢視表、投影、TTL 與 MergeTree 最佳化
- 具備使用 Prometheus、Grafana 等可觀測性平台的經驗
- 展現好奇心、獨立性,以及主動找出並交付解決方案的能力
- 具備出色的書面與口頭溝通能力,能夠指導並影響分散式團隊中的工程師
