Solidus Labs desarrolla software de seguridad y cumplimiento normativo para el ecosistema de activos digitales. Su cartera de productos incluye Trade Surveillance, Transaction Monitoring y Staking Guard, que ayudan a las organizaciones a identificar y abordar riesgos a lo largo del ciclo de vida de los activos digitales. La empresa opera en la intersección de la ciberseguridad, la tecnología financiera y el desarrollo de software.
Ingeniero/a sénior de datos, infraestructura de ClickHouse — Solidus Labs (híbrido, Reino Unido)
Ingeniero/a sénior de datos responsable de escalar la infraestructura de ClickHouse que sustenta la plataforma de vigilancia de operaciones de Solidus Labs. El puesto abarca canalizaciones de datos de gran volumen, arquitectura de clústeres, fiabilidad y observabilidad para cargas de trabajo en tiempo real y por lotes.
Descripción
- Diseñar y optimizar la arquitectura de datos de ClickHouse, incluidos los motores de tablas, la partición, las vistas materializadas y las políticas de almacenamiento
- Gestionar el dimensionamiento, la topología y la planificación de capacidad de los clústeres de ClickHouse para la ingesta en tiempo real y el procesamiento por lotes T+1
- Liderar las prácticas de fiabilidad y deduplicación de datos en ClickHouse y las canalizaciones relacionadas
- Crear y mejorar la monitorización, las alertas y la observabilidad de la replicación, las fusiones, la latencia de las consultas y el uso de recursos
- Actuar como especialista en ClickHouse de la empresa y orientar a los equipos de ingeniería sobre la optimización de consultas y el modelado de datos
- Colaborar con el proveedor de ClickHouse para investigar problemas, evaluar capacidades y proporcionar mejoras
- Trabajar con los equipos de analítica, aprendizaje automático y producto para mejorar el almacenamiento, los esquemas, los formatos y el rendimiento de las consultas
- Establecer y mantener los estándares de ClickHouse para el versionado de esquemas y la gobernanza de datos
Requisitos
- Título universitario en informática
- Al menos cinco años de experiencia práctica en ingeniería de software con Java, Rust o Python
- Ocho o más años de experiencia creando sistemas y canalizaciones de ingeniería de datos para entornos de producción de gran volumen y baja latencia
- Experiencia profesional desarrollando sistemas en tiempo real y de baja latencia que procesen miles de millones de eventos al día
- Conocimientos prácticos avanzados de ClickHouse, incluidos la arquitectura de clústeres, los motores de tablas, la replicación, el particionamiento y la optimización de consultas
- Experiencia sólida con Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake y sistemas de caché
- Dominio experto de SQL y de la optimización de consultas, incluidas las vistas materializadas, las proyecciones, los TTL y la optimización de MergeTree en ClickHouse
- Experiencia con plataformas de observabilidad como Prometheus y Grafana
- Curiosidad, autonomía e iniciativa demostradas para identificar y proporcionar soluciones
- Excelentes habilidades de comunicación escrita y oral, con capacidad para formar e influir en ingenieros de equipos distribuidos