Solidus Labs utvikler sikkerhets- og compliance-programvare for økosystemet for digitale aktiva. Produktporteføljen omfatter markedsovervåking, transaksjonsovervåking og Staking Guard, som hjelper organisasjoner med å identifisere og håndtere risikoer gjennom hele livssyklusen for digitale aktiva. Selskapet opererer i skjæringspunktet mellom cybersikkerhet, fintech og programvareutvikling.
Senior dataingeniør, ClickHouse-infrastruktur — Solidus Labs (hybrid, Storbritannia)
Senior dataingeniør med ansvar for å skalere ClickHouse-infrastrukturen bak Solidus Labs' plattform for markedsovervåking. Rollen omfatter datapipelines med store datamengder, klyngearkitektur, pålitelighet og observerbarhet på tvers av sanntids- og batcharbeidsbelastninger.
Beskrivelse
- Utforme og optimalisere dataarkitektur i ClickHouse, inkludert tabellmotorer, partisjonering, materialiserte visninger og lagringspolicyer
- Administrere dimensjonering, topologi og kapasitetsplanlegging for ClickHouse-klynger for sanntidsinntak og T+1-batchbehandling
- Lede arbeidet med datapålitelighet og deduplisering i ClickHouse og relaterte datapipelines
- Bygge ut og forbedre overvåking, varsling og observerbarhet for replikering, sammenslåinger, spørringsforsinkelse og ressursbruk
- Være selskapets ClickHouse-spesialist og veilede utviklingsteam i spørringsoptimalisering og datamodellering
- Samarbeide med ClickHouse-leverandøren for å undersøke problemer, vurdere funksjoner og levere forbedringer
- Samarbeide med analyse-, maskinlærings- og produktteam for å forbedre lagring, skjemaer, formater og spørringsytelse
- Fastsette og opprettholde ClickHouse-standarder for skjemaversjonering og datastyring
Krav
- Bachelorgrad i informatikk
- Minst fem års praktisk erfaring med programvareutvikling i Java, Rust eller Python
- Minst åtte års erfaring med å bygge dataingeniørsystemer og datapipelines for produksjonsmiljøer med store datamengder og lav forsinkelse
- Yrkeserfaring med å utvikle sanntidssystemer med lav forsinkelse som behandler milliarder av hendelser daglig
- Avansert praktisk kunnskap om ClickHouse, inkludert klyngearkitektur, tabellmotorer, replikering, sharding og spørringsoptimalisering
- Solid erfaring med Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake og hurtigbuffersystemer
- Ekspertkunnskap i SQL og spørringsoptimalisering, inkludert ClickHouse-materialiserte visninger, projeksjoner, TTL-er og MergeTree-optimalisering
- Erfaring med å bruke observerbarhetsplattformer som Prometheus og Grafana
- Dokumentert nysgjerrighet, selvstendighet og initiativ i arbeidet med å identifisere og levere løsninger
- Svært gode skriftlige og muntlige kommunikasjonsevner, med evne til å veilede og påvirke ingeniører i distribuerte team