Solidus Labs entwickelt Sicherheits- und Compliance-Software für das Ökosystem digitaler Vermögenswerte. Das Produktportfolio umfasst Trade Surveillance, Transaction Monitoring und Staking Guard und unterstützt Unternehmen dabei, Risiken entlang des gesamten Lebenszyklus digitaler Vermögenswerte zu erkennen und zu bewältigen. Das Unternehmen ist an der Schnittstelle von Cybersicherheit, Fintech und Softwareentwicklung tätig.
Senior Data Engineer, ClickHouse-Infrastruktur — Solidus Labs (Hybrid, Vereinigtes Königreich)
Als Senior Data Engineer verantworten Sie die Skalierung der ClickHouse-Infrastruktur hinter der Handelsüberwachungsplattform von Solidus Labs. Die Position umfasst hochvolumige Datenpipelines, Clusterarchitektur, Zuverlässigkeit und Observability für Echtzeit- und Batch-Workloads.
Beschreibung
- Entwerfen und optimieren Sie die ClickHouse-Datenarchitektur, einschließlich Tabellene Engines, Partitionierung, materialisierter Ansichten und Speicherungsrichtlinien
- Verwalten Sie die Dimensionierung, Topologie und Kapazitätsplanung von ClickHouse-Clustern für Echtzeitaufnahme und T+1-Batchverarbeitung
- Leiten Sie Maßnahmen zur Datenzuverlässigkeit und Deduplizierung in ClickHouse und den zugehörigen Pipelines
- Bauen Sie Monitoring, Alerting und Observability für Replikation, Merges, Abfragelatenz und Ressourcennutzung auf und entwickeln Sie diese weiter
- Agieren Sie als ClickHouse-Spezialist des Unternehmens und beraten Sie Engineering-Teams zu Abfrageoptimierung und Datenmodellierung
- Arbeiten Sie mit dem ClickHouse-Anbieter zusammen, um Probleme zu untersuchen, Funktionen zu bewerten und Verbesserungen umzusetzen
- Arbeiten Sie mit Analytics-, Machine-Learning- und Produktteams zusammen, um Speicherung, Schemata, Formate und Abfrageleistung zu verbessern
- Definieren und wahren Sie ClickHouse-Standards für Schema-Versionierung und Data Governance
Anforderungen
- Bachelorabschluss in Informatik
- Mindestens fünf Jahre praktische Erfahrung in der Softwareentwicklung mit Java, Rust oder Python
- Mindestens acht Jahre Erfahrung beim Aufbau von Data-Engineering-Systemen und -Pipelines für Produktionsumgebungen mit hohem Volumen und niedriger Latenz
- Berufserfahrung in der Entwicklung echtzeitfähiger Systeme mit niedriger Latenz, die täglich Milliarden von Ereignissen verarbeiten
- Fortgeschrittene praktische Kenntnisse von ClickHouse, einschließlich Clusterarchitektur, Tabellen-Engines, Replikation, Sharding und Abfrageoptimierung
- Ausgeprägte Erfahrung mit Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake und Caching-Systemen
- Exzellente SQL- und Fähigkeiten zur Abfrageoptimierung, einschließlich materialisierter ClickHouse-Ansichten, Projections, TTLs und MergeTree-Optimierung
- Erfahrung mit Observability-Plattformen wie Prometheus und Grafana
- Nachgewiesene Neugier, Selbstständigkeit und Eigeninitiative bei der Identifizierung und Umsetzung von Lösungen
- Ausgezeichnete schriftliche und mündliche Kommunikationsfähigkeiten sowie die Fähigkeit, Engineers in verteilten Teams zu coachen und zu überzeugen