Solidus Labs tworzy oprogramowanie do zapewniania bezpieczeństwa i zgodności z przepisami w ekosystemie aktywów cyfrowych. W portfolio produktów firmy znajdują się Trade Surveillance, Transaction Monitoring i Staking Guard, które pomagają organizacjom identyfikować ryzyka i reagować na nie w całym cyklu życia aktywów cyfrowych. Firma działa na styku cyberbezpieczeństwa, fintechu i tworzenia oprogramowania.
Starszy inżynier danych, infrastruktura ClickHouse — Solidus Labs (praca hybrydowa, Wielka Brytania)
Starszy inżynier danych odpowiada za skalowanie infrastruktury ClickHouse stanowiącej podstawę platformy Solidus Labs do nadzoru transakcji. Rola obejmuje wysokowolumenowe potoki danych, architekturę klastrów, niezawodność i obserwowalność obciążeń działających w czasie rzeczywistym oraz przetwarzania wsadowego.
Opis
- Projektowanie i optymalizacja architektury danych ClickHouse, w tym silników tabel, partycjonowania, widoków materializowanych i zasad przechowywania
- Zarządzanie rozmiarem i topologią klastrów ClickHouse oraz planowaniem ich pojemności na potrzeby pozyskiwania danych w czasie rzeczywistym i przetwarzania wsadowego T+1
- Kierowanie praktykami zapewniającymi niezawodność danych i deduplikację w ClickHouse oraz powiązanych potokach
- Budowanie i rozwijanie monitoringu, alertów oraz obserwowalności replikacji, scalania danych, opóźnień zapytań i wykorzystania zasobów
- Pełnienie funkcji eksperta firmy w zakresie ClickHouse oraz wspieranie zespołów inżynieryjnych w optymalizacji zapytań i modelowaniu danych
- Współpraca z dostawcą ClickHouse przy badaniu problemów, ocenie możliwości i wdrażaniu usprawnień
- Współpraca z zespołami analityki, uczenia maszynowego i produktu nad poprawą przechowywania danych, schematów, formatów i wydajności zapytań
- Ustanawianie i utrzymywanie standardów ClickHouse dotyczących wersjonowania schematów i zarządzania danymi
Wymagania
- Wykształcenie wyższe na poziomie licencjackim lub inżynierskim w dziedzinie informatyki
- Co najmniej pięć lat praktycznego doświadczenia w tworzeniu oprogramowania w Javie, Ruście lub Pythonie
- Co najmniej osiem lat doświadczenia w budowaniu systemów i potoków inżynierii danych dla środowisk produkcyjnych o dużym wolumenie i niskich opóźnieniach
- Doświadczenie zawodowe w tworzeniu systemów czasu rzeczywistego o niskich opóźnieniach, przetwarzających codziennie miliardy zdarzeń
- Zaawansowana praktyczna znajomość ClickHouse, w tym architektury klastrów, silników tabel, replikacji, shardingu i optymalizacji zapytań
- Duże doświadczenie z Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake i systemami buforowania
- Ekspercka znajomość SQL i umiejętność dostrajania zapytań, w tym widoków materializowanych ClickHouse, projekcji, TTL i optymalizacji MergeTree
- Doświadczenie w korzystaniu z platform obserwowalności, takich jak Prometheus i Grafana
- Udowodniona ciekawość, samodzielność i inicjatywa w identyfikowaniu oraz wdrażaniu rozwiązań
- Doskonałe umiejętności komunikacji pisemnej i ustnej oraz zdolność do rozwijania i przekonywania inżynierów w rozproszonych zespołach