Solidus Labs phát triển các phần mềm bảo mật và tuân thủ dành cho hệ sinh thái tài sản số. Danh mục sản phẩm của công ty gồm Giám sát giao dịch, Giám sát giao dịch và Staking Guard, giúp các tổ chức xác định và xử lý rủi ro trong suốt vòng đời của tài sản số. Công ty hoạt động tại giao điểm giữa an ninh mạng, công nghệ tài chính và phát triển phần mềm.
Kỹ sư Dữ liệu Cấp cao, Hạ tầng ClickHouse — Solidus Labs (Làm việc kết hợp, Vương quốc Anh)
Kỹ sư Dữ liệu Cấp cao chịu trách nhiệm mở rộng hạ tầng ClickHouse phía sau nền tảng giám sát giao dịch của Solidus Labs. Vai trò này bao gồm các đường ống dữ liệu khối lượng lớn, kiến trúc cụm, độ tin cậy và khả năng quan sát cho các tác vụ thời gian thực và theo lô.
Mô tả
- Thiết kế và tối ưu hóa kiến trúc dữ liệu ClickHouse, bao gồm các engine bảng, phân vùng, materialized view và chính sách lưu trữ
- Quản lý quy mô, cấu trúc liên kết và kế hoạch năng lực của cụm ClickHouse cho việc tiếp nhận dữ liệu thời gian thực và xử lý theo lô T+1
- Dẫn dắt các phương pháp bảo đảm độ tin cậy và loại bỏ trùng lặp dữ liệu trên ClickHouse cùng các đường ống liên quan
- Xây dựng và nâng cao hoạt động giám sát, cảnh báo và khả năng quan sát đối với việc nhân bản, gộp dữ liệu, độ trễ truy vấn và mức sử dụng tài nguyên
- Đóng vai trò chuyên gia ClickHouse của công ty và hướng dẫn các nhóm kỹ thuật về tối ưu hóa truy vấn và mô hình hóa dữ liệu
- Phối hợp với nhà cung cấp ClickHouse để điều tra vấn đề, đánh giá khả năng và triển khai các cải tiến
- Làm việc với các nhóm phân tích, học máy và sản phẩm để cải thiện bộ nhớ, lược đồ, định dạng và hiệu năng truy vấn
- Thiết lập và duy trì các tiêu chuẩn ClickHouse về lập phiên bản lược đồ và quản trị dữ liệu
Yêu cầu
- Bằng cử nhân ngành khoa học máy tính
- Ít nhất năm năm kinh nghiệm thực tế trong phát triển phần mềm với Java, Rust hoặc Python
- Từ tám năm kinh nghiệm xây dựng các hệ thống và đường ống kỹ thuật dữ liệu cho môi trường sản xuất có khối lượng lớn và độ trễ thấp
- Kinh nghiệm chuyên môn phát triển các hệ thống thời gian thực, độ trễ thấp, xử lý hàng tỷ sự kiện mỗi ngày
- Kiến thức thực tiễn nâng cao về ClickHouse, bao gồm kiến trúc cụm, engine bảng, nhân bản, phân mảnh và tối ưu hóa truy vấn
- Kinh nghiệm vững về Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake và các hệ thống bộ nhớ đệm
- Kỹ năng SQL và tinh chỉnh truy vấn ở cấp độ chuyên gia, bao gồm materialized view, projection, TTL của ClickHouse và tối ưu hóa MergeTree
- Kinh nghiệm sử dụng các nền tảng quan sát như Prometheus và Grafana
- Thể hiện sự ham tìm hiểu, tính độc lập và tinh thần chủ động trong việc xác định và triển khai giải pháp
- Kỹ năng giao tiếp bằng văn bản và lời nói xuất sắc, có khả năng hướng dẫn và tạo ảnh hưởng đến các kỹ sư trong các nhóm phân tán