Solidus Labs udvikler sikkerheds- og compliance-software til økosystemet for digitale aktiver. Produktporteføljen omfatter handels overvågning, transaktionsovervågning og Staking Guard, som hjælper organisationer med at identificere og håndtere risici gennem hele livscyklussen for digitale aktiver. Virksomheden arbejder i krydsfeltet mellem cybersikkerhed, fintech og softwareudvikling.
Senior dataingeniør, ClickHouse-infrastruktur — Solidus Labs (hybrid, Storbritannien)
Senior dataingeniør med ansvar for skalering af ClickHouse-infrastrukturen bag Solidus Labs' platform til handelsovervågning. Rollen omfatter datapipelines med store datamængder, klyngearkitektur, pålidelighed og observerbarhed på tværs af realtids- og batcharbejdsbelastninger.
Beskrivelse
- Designe og optimere dataarkitektur i ClickHouse, herunder tabelmotorer, partitionering, materialiserede visninger og lagringspolitikker
- Administrere dimensionering, topologi og kapacitetsplanlægning for ClickHouse-klynger til realtidsindlæsning og T+1-batchbehandling
- Lede arbejdet med datapålidelighed og deduplikering på tværs af ClickHouse og relaterede datapipelines
- Opbygge og forbedre overvågning, alarmering og observerbarhed for replikering, sammenlægninger, forespørgselslatens og ressourceforbrug
- Være virksomhedens ClickHouse-specialist og vejlede udviklingsteams i forespørgselsoptimering og datamodellering
- Samarbejde med ClickHouse-leverandøren om at undersøge problemer, vurdere funktioner og levere forbedringer
- Samarbejde med analyse-, machine learning- og produktteams om at forbedre lagring, skemaer, formater og forespørgselsydelse
- Fastlægge og opretholde ClickHouse-standarder for skemaversionering og datastyring
Krav
- Bachelorgrad i datalogi
- Mindst fem års praktisk erfaring med softwareudvikling i Java, Rust eller Python
- Mindst otte års erfaring med at bygge dataingeniørsystemer og datapipelines til produktionsmiljøer med store datamængder og lav latenstid
- Erhvervserfaring med at udvikle realtidssystemer med lav latenstid, der behandler milliarder af hændelser dagligt
- Avanceret praktisk viden om ClickHouse, herunder klyngearkitektur, tabelmotorer, replikering, sharding og forespørgselsoptimering
- Solid erfaring med Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake og cachesystemer
- Ekspertviden i SQL og forespørgselsoptimering, herunder ClickHouse-materialiserede visninger, projektioner, TTL'er og MergeTree-optimering
- Erfaring med at bruge observerbarhedsplatforme som Prometheus og Grafana
- Dokumenteret nysgerrighed, selvstændighed og initiativ i forbindelse med at identificere og levere løsninger
- Fremragende skriftlige og mundtlige kommunikationsevner samt evne til at coache og påvirke ingeniører i distribuerede teams