Solidus Labs razvija sigurnosni i compliance softver za ekosustav digitalne imovine. Njegov portfelj proizvoda uključuje nadzor trgovanja, praćenje transakcija i Staking Guard, pomažući organizacijama da prepoznaju i riješe rizike tijekom cijelog životnog ciklusa digitalne imovine. Tvrtka djeluje na sjecištu kibernetičke sigurnosti, fintecha i razvoja softvera.
Viši inženjer podataka za infrastrukturu ClickHouse — Solidus Labs (hibridno, Ujedinjeno Kraljevstvo)
Viši inženjer podataka odgovoran je za skaliranje infrastrukture ClickHouse koja podržava platformu Solidus Labsa za nadzor trgovanja. Uloga obuhvaća podatkovne cjevovode velikog obujma, arhitekturu klastera, pouzdanost i observabilnost za obradu u stvarnom vremenu i paketnu obradu.
Opis
- Dizajnirati i optimizirati podatkovnu arhitekturu ClickHousea, uključujući enginee tablica, particioniranje, materijalizirane prikaze i pravila pohrane
- Upravljati dimenzioniranjem, topologijom i planiranjem kapaciteta klastera ClickHousea za unos podataka u stvarnom vremenu i paketnu obradu T+1
- Voditi prakse pouzdanosti podataka i deduplikacije u ClickHouseu i povezanim cjevovodima
- Izgraditi i unaprijediti nadzor, upozorenja i observabilnost replikacije, spajanja, latencije upita i korištenja resursa
- Djelovati kao stručnjak tvrtke za ClickHouse i usmjeravati inženjerske timove u optimizaciji upita i modeliranju podataka
- Surađivati s dobavljačem ClickHousea na istraživanju problema, procjeni mogućnosti i isporuci poboljšanja
- Surađivati s analitičkim, strojno-učećim i proizvodnim timovima na poboljšanju pohrane, shema, formata i performansi upita
- Postaviti i održavati ClickHouse standarde za verzioniranje shema i upravljanje podacima
Zahtjevi
- Diploma prvostupnika informatike
- Najmanje pet godina praktičnog iskustva u razvoju softvera u jezicima Java, Rust ili Python
- Osam ili više godina iskustva u izgradnji podatkovnih inženjerskih sustava i cjevovoda za produkcijska okruženja velikog obujma i niske latencije
- Profesionalno iskustvo u razvoju sustava niske latencije u stvarnom vremenu koji svakodnevno obrađuju milijarde događaja
- Napredno praktično znanje ClickHousea, uključujući arhitekturu klastera, enginee tablica, replikaciju, sharding i optimizaciju upita
- Veliko iskustvo s alatima Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake i sustavima predmemoriranja
- Stručno znanje SQL-a i podešavanja upita, uključujući materijalizirane prikaze ClickHousea, projekcije, TTL-ove i optimizaciju MergeTreeja
- Iskustvo s platformama za observabilnost kao što su Prometheus i Grafana
- Dokazana znatiželja, samostalnost i inicijativa u prepoznavanju i isporuci rješenja
- Izvrsne pisane i usmene komunikacijske vještine, uz sposobnost podučavanja i utjecanja na inženjere u distribuiranim timovima