Solidus Labs розробляє програмне забезпечення для безпеки та дотримання нормативних вимог в екосистемі цифрових активів. До портфоліо продуктів компанії входять Trade Surveillance, Transaction Monitoring і Staking Guard, які допомагають організаціям виявляти ризики та реагувати на них упродовж усього життєвого циклу цифрових активів. Компанія працює на перетині кібербезпеки, фінтеху та розробки програмного забезпечення.
Старший інженер з даних, інфраструктура ClickHouse — Solidus Labs (гібридний формат, Велика Британія)
Старший інженер з даних відповідає за масштабування інфраструктури ClickHouse, що лежить в основі платформи Solidus Labs для моніторингу торгових операцій. Роль охоплює високопотокові конвеєри даних, архітектуру кластерів, надійність і спостережуваність для робочих навантажень у реальному часі та пакетної обробки.
Опис
- Проєктувати й оптимізувати архітектуру даних ClickHouse, зокрема рушії таблиць, секціонування, матеріалізовані подання та політики зберігання
- Керувати розміром і топологією кластерів ClickHouse та плануванням їхньої місткості для приймання даних у реальному часі й пакетної обробки T+1
- Очолювати практики забезпечення надійності даних і дедуплікації в ClickHouse та пов’язаних конвеєрах
- Створювати й удосконалювати моніторинг, сповіщення та спостережуваність реплікації, злиттів, затримки запитів і використання ресурсів
- Бути фахівцем компанії з ClickHouse і консультувати інженерні команди щодо оптимізації запитів та моделювання даних
- Співпрацювати з постачальником ClickHouse для розслідування проблем, оцінювання можливостей і впровадження покращень
- Працювати з командами аналітики, машинного навчання та продукту над покращенням зберігання, схем, форматів і продуктивності запитів
- Установлювати й підтримувати стандарти ClickHouse щодо версіювання схем та управління даними
Вимоги
- Ступінь бакалавра в галузі комп’ютерних наук
- Щонайменше п’ять років практичного досвіду розроблення програмного забезпечення на Java, Rust або Python
- Щонайменше вісім років досвіду створення систем і конвеєрів інженерії даних для виробничих середовищ із великими обсягами та малою затримкою
- Професійний досвід розроблення систем реального часу з малою затримкою, які щодня обробляють мільярди подій
- Поглиблені практичні знання ClickHouse, зокрема архітектури кластерів, рушіїв таблиць, реплікації, шардингу та оптимізації запитів
- Ґрунтовний досвід роботи з Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake і системами кешування
- Експертне знання SQL і навички налаштування запитів, зокрема матеріалізованих подань ClickHouse, проєкцій, TTL та оптимізації MergeTree
- Досвід використання платформ спостережуваності, таких як Prometheus і Grafana
- Підтверджені допитливість, самостійність та ініціативність у пошуку й упровадженні рішень
- Відмінні навички письмової та усної комунікації, а також здатність навчати інженерів і впливати на розподілені команди