A Mindrift é um marketplace de talentos especializados em inteligência artificial e uma plataforma SaaS que conecta colaboradores profissionais e especialistas em diferentes áreas a projetos de treinamento e avaliação de IA de empresas de tecnologia. Como parte da Toloka, trabalha com redatores, editores, especialistas em controle de qualidade, cientistas e outros especialistas no assunto que ajudam a gerar dados de treinamento, avaliar a segurança e o raciocínio dos modelos, analisar a qualidade de conteúdo de mídia e criar cenários do mundo real para melhorar o desempenho e a confiabilidade da IA. A Mindrift seleciona e verifica os colaboradores por meio de avaliações e verificação de identidade e, em seguida, oferece oportunidades flexíveis de projetos remunerados relacionados ao treinamento e à avaliação de IA.
Engenheiro sênior de scraping de dados em Python – Freelancer remoto
A Mindrift busca um engenheiro sênior de Python para criar fluxos confiáveis de web scraping e processamento de dados para projetos de IA. A função tem foco em extrair, validar e escalar conjuntos de dados estruturados de sites complexos.
Descrição
- Liderar fluxos completos de extração de dados em sites complexos
- Entregar conjuntos de dados estruturados completos, precisos e confiáveis
- Aplicar as ferramentas disponíveis e fluxos de trabalho personalizados para acelerar a coleta, a validação e a execução de tarefas de dados
- Coletar dados de fontes dinâmicas e interativas, adaptando-se a conteúdo renderizado em JavaScript e a mudanças no comportamento dos sites
- Manter a qualidade dos dados por meio de verificações de validação, análises de consistência entre fontes, requisitos de formatação e verificação sistemática
- Escalar o scraping de grandes conjuntos de dados com processamento eficiente em lotes ou processamento paralelo
- Monitorar falhas e preservar a estabilidade dos scrapers diante de pequenas mudanças na estrutura dos sites
- Trabalhar com Apify, OpenRouter e outras tecnologias relevantes
Requisitos
- Mais de 5 anos de experiência relevante em engenharia de dados, web scraping, automação ou desenvolvimento de software
- Proficiência em inglês em nível intermediário-avançado, B2 ou superior
- Forte experiência em scraping com Python usando BeautifulSoup, Selenium ou ferramentas comparáveis, conteúdo dinâmico como JavaScript, AJAX e rolagem infinita, além de APIs baseadas em proxies
- Capacidade de extrair informações de estruturas complexas, incluindo hierarquias, páginas arquivadas e HTML inconsistente
- Experiência em limpar, normalizar e validar dados para entrega em CSV, JSON ou Google Sheets
- Experiência na gestão de mecanismos antirrobôs e de estruturas de sites em constante mudança em escala
- Experiência prática com AWS ou infraestrutura de nuvem equivalente e conteinerização com Docker
- Experiência prática no uso de LangChain, OpenRouter ou frameworks de LLM semelhantes para automação
- Grande atenção aos detalhes e compromisso com a precisão dos dados
- Capacidade de trabalhar de forma independente e solucionar problemas com eficiência
- Formação superior ou mestrado em Engenharia, Matemática Aplicada, Ciência da Computação ou área técnica relacionada será um diferencial
- Um link para um perfil no GitHub será um diferencial
Benefícios
- Trabalho como freelancer
- Trabalho remoto em meio período
- Aproximadamente 10–20 horas por semana durante as fases ativas do projeto
- Até o equivalente a US$ 40 por hora, dependendo do nível de experiência e do ritmo de contribuição