A Solidus Labs desenvolve software de segurança e conformidade para o ecossistema de ativos digitais. Seu portfólio de produtos inclui Trade Surveillance, Transaction Monitoring e Staking Guard, ajudando as organizações a identificar e lidar com riscos em todo o ciclo de vida dos ativos digitais. A empresa atua na interseção entre cibersegurança, fintech e desenvolvimento de software.
Engenheiro(a) Sênior de Dados, Infraestrutura de ClickHouse — Solidus Labs (Híbrido, Reino Unido)
Engenheiro(a) Sênior de Dados responsável por escalar a infraestrutura de ClickHouse por trás da plataforma de vigilância de negociações da Solidus Labs. A função abrange pipelines de dados de alto volume, arquitetura de clusters, confiabilidade e observabilidade em cargas de trabalho em tempo real e em lote.
Descrição
- Projetar e otimizar a arquitetura de dados do ClickHouse, incluindo mecanismos de tabela, particionamento, visualizações materializadas e políticas de armazenamento
- Gerenciar o dimensionamento, a topologia e o planejamento de capacidade dos clusters ClickHouse para ingestão em tempo real e processamento em lote T+1
- Liderar as práticas de confiabilidade e deduplicação de dados no ClickHouse e nos pipelines relacionados
- Criar e aprimorar monitoramento, alertas e observabilidade para replicação, merges, latência de consultas e uso de recursos
- Atuar como especialista em ClickHouse da empresa e orientar as equipes de engenharia sobre otimização de consultas e modelagem de dados
- Trabalhar em parceria com o fornecedor do ClickHouse para investigar problemas, avaliar recursos e implementar melhorias
- Trabalhar com as equipes de analytics, machine learning e produto para melhorar armazenamento, esquemas, formatos e desempenho de consultas
- Definir e manter os padrões de ClickHouse para versionamento de esquemas e governança de dados
Requisitos
- Bacharelado em ciência da computação
- Pelo menos cinco anos de experiência prática em engenharia de software com Java, Rust ou Python
- Oito anos ou mais de experiência na criação de sistemas e pipelines de engenharia de dados para ambientes de produção de alto volume e baixa latência
- Experiência profissional no desenvolvimento de sistemas em tempo real e de baixa latência que processem bilhões de eventos diariamente
- Conhecimento prático avançado de ClickHouse, incluindo arquitetura de clusters, mecanismos de tabela, replicação, fragmentação e otimização de consultas
- Experiência sólida com Apache Kafka, Spark, Airflow, Kubernetes, Redis, Snowflake e sistemas de cache
- Domínio de SQL e de ajuste de consultas, incluindo visualizações materializadas, projeções, TTLs e otimização de MergeTree no ClickHouse
- Experiência com plataformas de observabilidade como Prometheus e Grafana
- Curiosidade, autonomia e iniciativa demonstradas para identificar e implementar soluções
- Excelentes habilidades de comunicação escrita e verbal, com capacidade de orientar e influenciar engenheiros em equipes distribuídas