Solidus Labs разработва софтуер за сигурност и съответствие за екосистемата на цифровите активи. Портфолиото му от продукти включва наблюдение на търговията, мониторинг на транзакциите и Staking Guard, които помагат на организациите да идентифицират и адресират рисковете по целия жизнен цикъл на цифровите активи. Компанията работи на пресечната точка между киберсигурността, финтеха и разработването на софтуер.
Старши инженер по данни за инфраструктурата на ClickHouse — Solidus Labs (хибридно, Обединеното кралство)
Старшият инженер по данни отговаря за мащабирането на инфраструктурата на ClickHouse зад платформата на Solidus Labs за наблюдение на търговията. Ролята обхваща високoобемни потоци от данни, архитектура на клъстери, надеждност и наблюдаемост при работа в реално време и пакетна обработка.
Описание
- Проектиране и оптимизиране на архитектурата на данните в ClickHouse, включително механизми за таблици, партициониране, материализирани изгледи и политики за съхранение
- Управление на оразмеряването, топологията и планирането на капацитета на клъстерите на ClickHouse за приемане на данни в реално време и пакетна обработка T+1
- Ръководене на практиките за надеждност и дедупликация на данните в ClickHouse и свързаните потоци
- Изграждане и подобряване на мониторинга, известяването и наблюдаемостта на репликацията, сливането, латентността на заявките и използването на ресурсите
- Изпълнение на ролята на специалист на компанията по ClickHouse и насочване на инженерните екипи при оптимизацията на заявки и моделирането на данни
- Партньорство с доставчика на ClickHouse за разследване на проблеми, оценка на възможностите и реализиране на подобрения
- Работа с екипите по анализи, машинно обучение и продукти за подобряване на съхранението, схемите, форматите и производителността на заявките
- Определяне и поддържане на стандартите на ClickHouse за версиониране на схеми и управление на данни
Изисквания
- Бакалавърска степен по компютърни науки
- Най-малко пет години практически опит в разработката на софтуер с Java, Rust или Python
- Осем или повече години опит в изграждането на системи и потоци за инженеринг на данни за продукционни среди с голям обем и ниска латентност
- Професионален опит в разработването на системи в реално време с ниска латентност, които обработват милиарди събития дневно
- Напреднали практически познания по ClickHouse, включително архитектура на клъстери, механизми за таблици, репликация, шардинг и оптимизация на заявки
- Значителен опит с Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake и системи за кеширане
- Експертни умения по SQL и настройване на заявки, включително материализирани изгледи, проекции, TTL и оптимизация на MergeTree в ClickHouse
- Опит с платформи за наблюдаемост като Prometheus и Grafana
- Доказана любознателност, самостоятелност и инициативност при идентифицирането и реализирането на решения
- Отлични писмени и устни комуникационни умения със способност за обучение и влияние върху инженери в разпределени екипи