Solidus Labs razvija varnostno in skladnostno programsko opremo za ekosistem digitalnih sredstev. Njegov portfelj izdelkov vključuje nadzor trgovanja, spremljanje transakcij in Staking Guard, ki organizacijam pomagajo prepoznati in obravnavati tveganja v celotnem življenjskem ciklu digitalnih sredstev. Podjetje deluje na stičišču kibernetske varnosti, fintecha in razvoja programske opreme.
Višji inženir podatkov za infrastrukturo ClickHouse — Solidus Labs (hibridno, Združeno kraljestvo)
Višji inženir podatkov je odgovoren za skaliranje infrastrukture ClickHouse v ozadju platforme Solidus Labs za nadzor trgovanja. Vloga zajema podatkovne cevovode velikega obsega, arhitekturo gruč, zanesljivost in opazljivost pri obdelavi v realnem času ter paketni obdelavi.
Opis
- Načrtovanje in optimizacija podatkovne arhitekture ClickHouse, vključno z mehanizmi tabel, particioniranjem, materializiranimi pogledi in politikami shranjevanja
- Upravljanje velikosti in topologije gruč ClickHouse ter načrtovanje zmogljivosti za zajemanje podatkov v realnem času in paketno obdelavo T+1
- Vodenje praks za zanesljivost podatkov in deduplikacijo v ClickHouse ter povezanih cevovodih
- Izgradnja in izboljševanje spremljanja, opozarjanja in opazljivosti replikacije, združevanj, zakasnitve poizvedb in uporabe virov
- Delovanje kot strokovnjak podjetja za ClickHouse ter usmerjanje inženirskih ekip pri optimizaciji poizvedb in modeliranju podatkov
- Sodelovanje z dobaviteljem ClickHouse pri preiskovanju težav, ocenjevanju zmogljivosti in izvedbi izboljšav
- Sodelovanje z analitičnimi, ekipami za strojno učenje in produktnimi ekipami pri izboljševanju shranjevanja, shem, formatov in zmogljivosti poizvedb
- Določanje in vzdrževanje standardov ClickHouse za različičenje shem in upravljanje podatkov
Zahteve
- Diploma iz računalništva
- Vsaj pet let praktičnih izkušenj s programskim inženirstvom v jezikih Java, Rust ali Python
- Osem ali več let izkušenj z gradnjo podatkovnih inženirskih sistemov in cevovodov za produkcijska okolja velikega obsega in nizke zakasnitve
- Profesionalne izkušnje z razvojem sistemov v realnem času z nizko zakasnitvijo, ki dnevno obdelajo milijarde dogodkov
- Napredno praktično znanje ClickHouse, vključno z arhitekturo gruč, mehanizmi tabel, replikacijo, shardingom in optimizacijo poizvedb
- Obsežne izkušnje z Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake in sistemi za predpomnjenje
- Strokovno znanje SQL in nastavljanja poizvedb, vključno z materializiranimi pogledi ClickHouse, projekcijami, TTL ter optimizacijo MergeTree
- Izkušnje s platformami za opazljivost, kot sta Prometheus in Grafana
- Dokazana radovednost, samostojnost in pobudništvo pri prepoznavanju in izvedbi rešitev
- Odlične pisne in ustne komunikacijske sposobnosti ter zmožnost mentoriranja in vplivanja na inženirje v porazdeljenih ekipah