Solidus Labs utvecklar säkerhets- och efterlevnadsprogramvara för ekosystemet för digitala tillgångar. Produktportföljen omfattar handelsövervakning, transaktionsövervakning och Staking Guard, som hjälper organisationer att identifiera och hantera risker under hela livscykeln för digitala tillgångar. Företaget verkar i skärningspunkten mellan cybersäkerhet, fintech och mjukvaruutveckling.
Senior dataingenjör, ClickHouse-infrastruktur — Solidus Labs (hybrid, Storbritannien)
Senior dataingenjör med ansvar för att skala ClickHouse-infrastrukturen bakom Solidus Labs plattform för handelsövervakning. Rollen omfattar datakanaler med stora volymer, klusterarkitektur, tillförlitlighet och observerbarhet för realtids- och batcharbetsbelastningar.
Beskrivning
- Utforma och optimera dataarkitektur i ClickHouse, inklusive tabellmotorer, partitionering, materialiserade vyer och lagringspolicyer
- Hantera dimensionering, topologi och kapacitetsplanering för ClickHouse-kluster för realtidsinläsning och T+1-batchbearbetning
- Leda arbetet med datatillförlitlighet och deduplicering i ClickHouse och relaterade datapipelines
- Bygga ut och förbättra övervakning, larm och observerbarhet för replikering, sammanslagningar, frågelatens och resursanvändning
- Vara företagets ClickHouse-specialist och vägleda utvecklingsteamen inom frågeoptimering och datamodellering
- Samarbeta med ClickHouse-leverantören för att utreda problem, bedöma funktioner och genomföra förbättringar
- Samarbeta med analys-, maskininlärnings- och produktteam för att förbättra lagring, scheman, format och frågeprestanda
- Fastställa och upprätthålla ClickHouse-standarder för schemaversionshantering och datastyrning
Krav
- Kandidatexamen i datavetenskap
- Minst fem års praktisk erfarenhet av mjukvaruutveckling med Java, Rust eller Python
- Minst åtta års erfarenhet av att bygga dataingenjörssystem och datapipelines för produktionsmiljöer med stora volymer och låg latens
- Yrkeserfarenhet av att utveckla realtidssystem med låg latens som behandlar miljarder händelser dagligen
- Avancerade praktiska kunskaper i ClickHouse, inklusive klusterarkitektur, tabellmotorer, replikering, sharding och frågeoptimering
- Gedigen erfarenhet av Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake och cachesystem
- Mycket goda kunskaper i SQL och frågejustering, inklusive materialiserade vyer, projektioner, TTL:er och MergeTree-optimering i ClickHouse
- Erfarenhet av att använda plattformar för observerbarhet, såsom Prometheus och Grafana
- Dokumenterad nyfikenhet, självständighet och initiativförmåga när det gäller att identifiera och leverera lösningar
- Utmärkt skriftlig och muntlig kommunikationsförmåga samt förmåga att coacha och påverka utvecklare i distribuerade team