A Mindrift é um marketplace de talentos especializados em inteligência artificial e uma plataforma SaaS que conecta colaboradores profissionais e especialistas em diferentes áreas a projetos de treinamento e avaliação de IA de empresas de tecnologia. Como parte da Toloka, trabalha com redatores, editores, especialistas em controle de qualidade, cientistas e outros especialistas no assunto que ajudam a gerar dados de treinamento, avaliar a segurança e o raciocínio dos modelos, analisar a qualidade de conteúdo de mídia e criar cenários do mundo real para melhorar o desempenho e a confiabilidade da IA. A Mindrift seleciona e verifica os colaboradores por meio de avaliações e verificação de identidade e, em seguida, oferece oportunidades flexíveis de projetos remunerados relacionados ao treinamento e à avaliação de IA.
Engenheiro(a) sênior de raspagem de dados em Python - remoto em meio período
Lidere a raspagem confiável da web e a entrega de dados estruturados para os projetos de tecnologia de IA da Mindrift. Automatize a extração, a validação e o processamento escalável em sites complexos e dinâmicos.
Descrição
- Liderar a extração de dados de ponta a ponta em sites complexos
- Entregar conjuntos de dados estruturados completos, precisos e confiáveis
- Usar ferramentas e fluxos de trabalho personalizados para agilizar a coleta, a validação e a execução de tarefas
- Extrair dados de fontes dinâmicas da web, adaptando-se a conteúdo JavaScript e a mudanças no comportamento dos sites
- Manter a qualidade dos dados por meio de validações, verificações de consistência, controles de formatação e verificações sistemáticas
- Escalar a raspagem de grandes volumes com processamento eficiente em lotes e processamento paralelo
- Monitorar falhas e preservar a estabilidade diante de pequenas mudanças na estrutura dos sites
- Aplicar Apify, OpenRouter e tecnologias relacionadas à extração da web e ao processamento de dados
Requisitos
- Mais de 5 anos de experiência relevante em engenharia de dados, raspagem da web, automação ou desenvolvimento de software
- Será considerado um diferencial ter bacharelado ou mestrado em Engenharia, Matemática Aplicada, Ciência da Computação ou área técnica relacionada
- Sólidos conhecimentos técnicos e experiência prática com scripts, automação e fluxos de trabalho de extração de dados
- Experiência avançada com raspagem em Python usando BeautifulSoup, Selenium ou ferramentas semelhantes, conteúdo dinâmico em JavaScript/AJAX, rolagem infinita e APIs com proxy
- Capacidade de extrair informações de hierarquias complexas, páginas arquivadas e HTML inconsistente
- Experiência em limpar, normalizar e validar dados para entrega em CSV, JSON ou Google Sheets
- Experiência na gestão de mecanismos antibot e de estruturas de sites em constante mudança em escala
- Experiência com AWS ou infraestrutura de nuvem equivalente e conteinerização com Docker
- Experiência prática aplicando LangChain, OpenRouter ou frameworks de LLM semelhantes à automação
- Abordagem meticulosa em relação à precisão e à qualidade dos dados
- Capacidade de trabalhar de forma independente e solucionar problemas com eficácia
- Proficiência em inglês intermediário-avançado (B2) ou superior
- Será considerado um diferencial fornecer um link para o perfil do GitHub
Benefícios
- Contrato freelance
- Trabalho remoto em meio período
- Aproximadamente 10–20 horas por semana durante as fases ativas
- Até o equivalente a US$ 25 por hora, dependendo do nível de experiência e do ritmo de contribuição
- Oportunidade de trabalhar em projetos inovadores de tecnologia por meio da plataforma Mindrift