Solidus Labs разрабатывает программное обеспечение для обеспечения безопасности и соблюдения нормативных требований в экосистеме цифровых активов. В портфолио продуктов компании входят решения Trade Surveillance, Transaction Monitoring и Staking Guard, которые помогают организациям выявлять риски и реагировать на них на всех этапах жизненного цикла цифровых активов. Компания работает на пересечении кибербезопасности, финтеха и разработки программного обеспечения.
Старший инженер по данным, инфраструктура ClickHouse — Solidus Labs (гибридный формат, Великобритания)
Старший инженер по данным отвечает за масштабирование инфраструктуры ClickHouse, лежащей в основе платформы Solidus Labs для мониторинга торговых операций. Роль охватывает высокообъёмные конвейеры данных, архитектуру кластеров, надёжность и наблюдаемость в режиме реального времени и при пакетной обработке.
Описание
- Проектировать и оптимизировать архитектуру данных ClickHouse, включая движки таблиц, партиционирование, материализованные представления и политики хранения
- Управлять размером, топологией и планированием ёмкости кластеров ClickHouse для приёма данных в реальном времени и пакетной обработки T+1
- Руководить практиками обеспечения надёжности данных и дедупликации в ClickHouse и связанных конвейерах
- Создавать и совершенствовать мониторинг, оповещения и наблюдаемость репликации, слияний, задержки запросов и использования ресурсов
- Выступать в роли специалиста компании по ClickHouse и консультировать инженерные команды по оптимизации запросов и моделированию данных
- Взаимодействовать с поставщиком ClickHouse для расследования проблем, оценки возможностей и реализации улучшений
- Сотрудничать с командами аналитики, машинного обучения и разработки продукта для улучшения хранения, схем, форматов и производительности запросов
- Устанавливать и поддерживать стандарты ClickHouse для версионирования схем и управления данными
Требования
- Степень бакалавра в области компьютерных наук
- Не менее пяти лет практического опыта разработки программного обеспечения на Java, Rust или Python
- Не менее восьми лет опыта создания систем и конвейеров инженерии данных для производственных сред с большими объёмами и низкой задержкой
- Профессиональный опыт разработки систем реального времени с низкой задержкой, обрабатывающих миллиарды событий ежедневно
- Продвинутые практические знания ClickHouse, включая архитектуру кластеров, движки таблиц, репликацию, шардирование и оптимизацию запросов
- Обширный опыт работы с Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake и системами кэширования
- Экспертное знание SQL и навыки настройки запросов, включая материализованные представления ClickHouse, проекции, TTL и оптимизацию MergeTree
- Опыт использования платформ наблюдаемости, таких как Prometheus и Grafana
- Подтверждённые любознательность, самостоятельность и инициативность в поиске и реализации решений
- Отличные навыки письменной и устной коммуникации, включая способность обучать инженеров и влиять на команды, работающие в распределённом формате