Solidus Labs ontwikkelt beveiligings- en compliancesoftware voor het ecosysteem van digitale activa. Het productportfolio omvat Trade Surveillance, Transaction Monitoring en Staking Guard, waarmee organisaties risico’s gedurende de volledige levenscyclus van digitale activa kunnen identificeren en aanpakken. Het bedrijf opereert op het snijvlak van cybersecurity, fintech en softwareontwikkeling.
Senior Data Engineer, ClickHouse-infrastructuur — Solidus Labs (hybride werkplek, Verenigd Koninkrijk)
Als Senior Data Engineer ben je verantwoordelijk voor het opschalen van de ClickHouse-infrastructuur achter het handelsmonitoringplatform van Solidus Labs. De functie omvat datapi pijplijnen met hoge volumes, clusterarchitectuur, betrouwbaarheid en observability voor realtime- en batchworkloads.
Beschrijving
- Ontwerp en optimaliseer de ClickHouse-dataarchitectuur, waaronder tabelengines, partitionering, gematerialiseerde views en opslagbeleid
- Beheer de dimensionering, topologie en capaciteitsplanning van ClickHouse-clusters voor realtime gegevensopname en T+1-batchverwerking
- Leid praktijken voor datab etrouwbaarheid en deduplicatie binnen ClickHouse en gerelateerde pijplijnen
- Bouw monitoring, alerting en observability voor replicatie, merges, querylatentie en resourcegebruik en verbeter deze continu
- Treed op als ClickHouse-specialist van het bedrijf en begeleid engineeringteams bij queryoptimalisatie en datamodellering
- Werk samen met de ClickHouse-leverancier om problemen te onderzoeken, mogelijkheden te beoordelen en verbeteringen door te voeren
- Werk samen met analytics-, machinelearning- en productteams om opslag, schema’s, formaten en queryprestaties te verbeteren
- Stel ClickHouse-standaarden voor schemaversiebeheer en data governance op en bewaak deze
Vereisten
- Bachelordiploma in computerwetenschappen
- Minimaal vijf jaar hands-on ervaring met softwareontwikkeling in Java, Rust of Python
- Minimaal acht jaar ervaring met het bouwen van data-engineeringsystemen en -pijplijnen voor productieomgevingen met hoge volumes en lage latentie
- Professionele ervaring met het ontwikkelen van realtime systemen met lage latentie die dagelijks miljarden gebeurtenissen verwerken
- Uitgebreide praktische kennis van ClickHouse, waaronder clusterarchitectuur, tabelengines, replicatie, sharding en queryoptimalisatie
- Ruime ervaring met Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake en caching-systemen
- Uitstekende kennis van SQL en querytuning, waaronder ClickHouse-gematerialiseerde views, projections, TTL’s en MergeTree-optimalisatie
- Ervaring met observabilityplatforms zoals Prometheus en Grafana
- Aantoonbare nieuwsgierigheid, zelfstandigheid en initiatief bij het identificeren en realiseren van oplossingen
- Uitstekende schriftelijke en mondelinge communicatieve vaardigheden, met het vermogen om engineers in verspreide teams te coachen en te beïnvloeden