Solidus Labsは、デジタル資産エコシステム向けのセキュリティおよびコンプライアンスソフトウェアを開発しています。製品ポートフォリオには、取引監視、トランザクションモニタリング、ステーキングガードが含まれ、デジタル資産のライフサイクル全体にわたるリスクの特定と対策を支援します。同社はサイバーセキュリティ、フィンテック、ソフトウェア開発の交差領域で事業を展開しています。
シニアデータエンジニア、ClickHouseインフラストラクチャ — Solidus Labs（英国、ハイブリッド勤務）
シニアデータエンジニアとして、Solidus Labsの取引監視プラットフォームを支えるClickHouseインフラストラクチャの拡張を担当します。大容量データパイプライン、クラスタアーキテクチャ、信頼性、オブザーバビリティを、リアルタイムおよびバッチワークロード全体で担います。
仕事内容
- テーブルエンジン、パーティショニング、マテリアライズドビュー、ストレージポリシーを含むClickHouseデータアーキテクチャを設計・最適化する
- リアルタイム取り込みとT+1バッチ処理に向けて、ClickHouseクラスタの規模、トポロジー、キャパシティプランニングを管理する
- ClickHouseおよび関連パイプライン全体のデータ信頼性と重複排除の取り組みを主導する
- レプリケーション、マージ、クエリレイテンシー、リソース使用量に関する監視、アラート、オブザーバビリティを構築・強化する
- 社内のClickHouseスペシャリストとして、エンジニアリングチームにクエリ最適化とデータモデリングの指針を示す
- ClickHouseベンダーと連携して問題を調査し、機能を評価して改善を実現する
- アナリティクス、機械学習、プロダクトチームと協力し、ストレージ、スキーマ、フォーマット、クエリ性能を改善する
- ClickHouseにおけるスキーマのバージョン管理とデータガバナンスの標準を策定・維持する
応募要件
- コンピュータサイエンスの学士号
- Java、Rust、またはPythonを用いたソフトウェアエンジニアリングの実務経験が5年以上あること
- 大容量・低レイテンシーの本番環境向けにデータエンジニアリングシステムとパイプラインを構築した経験が8年以上あること
- 毎日数十億件のイベントを処理する低レイテンシーのリアルタイムシステムを開発した実務経験
- クラスタアーキテクチャ、テーブルエンジン、レプリケーション、シャーディング、クエリ最適化を含むClickHouseの高度な実践知識
- Apache Kafka、Spark、Airflow、Kubernetes、Redis、Snowflake、キャッシュシステムに関する豊富な経験
- ClickHouseのマテリアライズドビュー、プロジェクション、TTL、MergeTree最適化を含む、高度なSQLおよびクエリチューニング能力
- PrometheusやGrafanaなどのオブザーバビリティプラットフォームの使用経験
- 課題を見つけて解決策を実現する好奇心、自律性、主体性を示せること
- 分散チームのエンジニアを指導・説得できる、優れた文書および口頭でのコミュニケーション能力