A Solidus Labs a digitális eszközök ökoszisztémája számára fejleszt biztonsági és megfelelőségi szoftvereket. Termékportfóliójába a kereskedésfelügyelet, a tranzakciófigyelés és a Staking Guard tartozik, amelyek segítenek a szervezeteknek azonosítani és kezelni a digitális eszközök teljes életciklusa során felmerülő kockázatokat. A vállalat a kiberbiztonság, a fintech és a szoftverfejlesztés metszéspontjában működik.
Senior adatmérnök, ClickHouse-infrastruktúra — Solidus Labs (hibrid, Egyesült Királyság)
A Senior adatmérnök a Solidus Labs kereskedésfelügyeleti platformja mögötti ClickHouse-infrastruktúra skálázásáért felel. A munkakör nagy volumenű adatfolyamokat, fürtarchitektúrát, megbízhatóságot és megfigyelhetőséget foglal magában valós idejű és kötegelt munkaterhelések esetén.
Leírás
- A ClickHouse adatarchitektúrájának tervezése és optimalizálása, beleértve a tábla-motorokat, a particionálást, a materializált nézeteket és a tárolási szabályzatokat
- A ClickHouse-fürtök méretezésének, topológiájának és kapacitástervezésének kezelése valós idejű adatbetöltéshez és T+1 kötegelt feldolgozáshoz
- Az adatok megbízhatóságával és deduplikációjával kapcsolatos gyakorlatok vezetése a ClickHouse-ban és a kapcsolódó adatfolyamokban
- A replikáció, az összevonások, a lekérdezési késleltetés és az erőforrás-használat monitorozásának, riasztásának és megfigyelhetőségének kialakítása és fejlesztése
- A vállalat ClickHouse-szakértőjeként való működés, valamint a mérnöki csapatok támogatása lekérdezésoptimalizálási és adatmodellezési kérdésekben
- Együttműködés a ClickHouse szállítójával a problémák kivizsgálása, a képességek felmérése és fejlesztések megvalósítása érdekében
- Együttműködés az analitikai, gépi tanulási és termékcsapatokkal a tárolás, a sémák, a formátumok és a lekérdezési teljesítmény javításáért
- A ClickHouse-sémaverziózásra és adatirányításra vonatkozó szabványok meghatározása és fenntartása
Követelmények
- Számítástechnikai alapképzésben szerzett diploma
- Legalább öt év gyakorlati szoftvermérnöki tapasztalat Java, Rust vagy Python használatával
- Legalább nyolc év tapasztalat nagy volumenű, alacsony késleltetésű éles környezetekhez készült adatmérnöki rendszerek és adatfolyamok építésében
- Szakmai tapasztalat alacsony késleltetésű, valós idejű rendszerek fejlesztésében, amelyek naponta több milliárd eseményt dolgoznak fel
- A ClickHouse haladó szintű gyakorlati ismerete, beleértve a fürtarchitektúrát, a tábla-motorokat, a replikációt, a shardingot és a lekérdezésoptimalizálást
- Erős tapasztalat az Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake és gyorsítótárazási rendszerek használatában
- Magas szintű SQL- és lekérdezéshangolási készség, beleértve a ClickHouse materializált nézeteit, projekcióit, TTL-jeit és a MergeTree optimalizálását
- Megfigyelhetőségi platformok, például a Prometheus és a Grafana használatában szerzett tapasztalat
- Bizonyított kíváncsiság, önállóság és kezdeményezőkészség a megoldások azonosításában és megvalósításában
- Kiváló írásbeli és szóbeli kommunikációs készség, valamint képesség a különböző helyeken dolgozó csapatok mérnökeinek mentorálására és befolyásolására