Solidus Labs vyvíja bezpečnostný a compliance softvér pre ekosystém digitálnych aktív. Jeho produktové portfólio zahŕňa monitorovanie obchodovania, monitorovanie transakcií a Staking Guard, ktoré organizáciám pomáhajú identifikovať a riešiť riziká počas celého životného cyklu digitálnych aktív. Spoločnosť pôsobí na rozhraní kybernetickej bezpečnosti, fintechu a vývoja softvéru.
Senior dátový inžinier pre infraštruktúru ClickHouse — Solidus Labs (hybridne, Spojené kráľovstvo)
Senior dátový inžinier zodpovedný za škálovanie infraštruktúry ClickHouse, ktorá podporuje platformu Solidus Labs na dohľad nad obchodovaním. Náplň práce zahŕňa dátové pipeline s vysokým objemom, architektúru klastrov, spoľahlivosť a observabilitu pri spracovaní v reálnom čase aj dávkovom spracovaní.
Popis
- Navrhovať a optimalizovať dátovú architektúru ClickHouse vrátane enginov tabuliek, partícií, materializovaných pohľadov a politík úložiska
- Spravovať dimenzovanie, topológiu a plánovanie kapacity klastrov ClickHouse pre ingestovanie v reálnom čase a dávkové spracovanie T+1
- Viesť postupy na zaistenie spoľahlivosti dát a deduplikácie v ClickHouse a súvisiacich pipeline
- Budovať a zlepšovať monitorovanie, upozornenia a observabilitu replikácie, merge operácií, latencie dotazov a využitia zdrojov
- Pôsobiť ako špecialista spoločnosti na ClickHouse a viesť inžinierske tímy pri optimalizácii dotazov a modelovaní dát
- Spolupracovať s dodávateľom ClickHouse pri vyšetrovaní problémov, posudzovaní možností a zavádzaní zlepšení
- Spolupracovať s analytickými, strojovo-učiacimi a produktovými tímami na zlepšovaní úložiska, schém, formátov a výkonu dotazov
- Stanovovať a udržiavať štandardy ClickHouse pre verzovanie schém a správu dát
Požiadavky
- Vysokoškolské vzdelanie v odbore informatika
- Aspoň päť rokov praktických skúseností s vývojom softvéru v jazykoch Java, Rust alebo Python
- Osem alebo viac rokov skúseností s budovaním dátových inžinierskych systémov a pipeline pre produkčné prostredia s vysokým objemom a nízkou latenciou
- Pracovné skúsenosti s vývojom systémov v reálnom čase s nízkou latenciou, ktoré denne spracúvajú miliardy udalostí
- Pokročilé praktické znalosti ClickHouse vrátane architektúry klastrov, enginov tabuliek, replikácie, shardingu a optimalizácie dotazov
- Rozsiahle skúsenosti s Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake a systémami vyrovnávacej pamäte
- Špičkové znalosti SQL a optimalizácie dotazov vrátane materializovaných pohľadov ClickHouse, projekcií, TTL a optimalizácie MergeTree
- Skúsenosti s platformami observability, ako sú Prometheus a Grafana
- Preukázaná zvedavosť, samostatnosť a iniciatíva pri identifikácii a realizácii riešení
- Výborné písomné a ústne komunikačné schopnosti s možnosťou koučovať a ovplyvňovať inžinierov v distribuovaných tímoch