Solidus Labs vyvíjí software pro bezpečnost a dodržování regulatorních požadavků v ekosystému digitálních aktiv. Portfolio produktů společnosti zahrnuje Trade Surveillance, Transaction Monitoring a Staking Guard, které organizacím pomáhají identifikovat rizika a reagovat na ně v průběhu celého životního cyklu digitálních aktiv. Společnost působí na pomezí kybernetické bezpečnosti, fintechu a vývoje softwaru.
Senior datový inženýr, infrastruktura ClickHouse — Solidus Labs (hybridní režim, Spojené království)
Senior datový inženýr bude zodpovídat za škálování infrastruktury ClickHouse, na které stojí platforma Solidus Labs pro dohled nad obchodováním. Role zahrnuje datové pipeline s vysokým objemem, architekturu clusterů, spolehlivost a observabilitu úloh zpracovávaných v reálném čase i dávkově.
Popis
- Navrhovat a optimalizovat datovou architekturu ClickHouse včetně tabulkových enginů, partitioningu, materializovaných pohledů a zásad ukládání
- Spravovat velikost a topologii clusterů ClickHouse a plánování kapacity pro příjem dat v reálném čase a dávkové zpracování T+1
- Vést postupy zajišťující spolehlivost dat a deduplikaci v ClickHouse a souvisejících pipeline
- Budovat a rozvíjet monitoring, upozornění a observabilitu replikace, slučování dat, latence dotazů a využití zdrojů
- Působit jako firemní specialista na ClickHouse a poskytovat inženýrským týmům vedení v oblasti optimalizace dotazů a datového modelování
- Spolupracovat s dodavatelem ClickHouse při vyšetřování problémů, posuzování možností a dodávání vylepšení
- Spolupracovat s týmy analytiky, strojového učení a produktu na zlepšování ukládání dat, schémat, formátů a výkonu dotazů
- Stanovovat a udržovat standardy ClickHouse pro verzování schémat a správu dat
Požadavky
- Bakalářské vzdělání v oboru informatiky
- Nejméně pět let praktických zkušeností s vývojem softwaru v jazyce Java, Rust nebo Python
- Nejméně osm let zkušeností s vytvářením datových systémů a pipeline pro produkční prostředí s vysokým objemem a nízkou latencí
- Pracovní zkušenost s vývojem nízkolatenčních systémů v reálném čase, které denně zpracovávají miliardy událostí
- Pokročilá praktická znalost ClickHouse včetně architektury clusterů, tabulkových enginů, replikace, shardingu a optimalizace dotazů
- Rozsáhlé zkušenosti s Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake a systémy cachování
- Expertní znalost SQL a ladění dotazů včetně materializovaných pohledů ClickHouse, projekcí, TTL a optimalizace MergeTree
- Zkušenost s platformami observability, jako jsou Prometheus a Grafana
- Prokázaná zvídavost, samostatnost a iniciativa při identifikaci a dodávání řešení
- Vynikající písemné a ústní komunikační dovednosti a schopnost koučovat inženýry a ovlivňovat distribuované týmy