Mindrift
Mindrift
501 – 1.000 Funcionários
Inteligência artificialMarketplaceSaaS
A Mindrift é um marketplace de talentos especializados em inteligência artificial e uma plataforma SaaS que conecta colaboradores profissionais e especialistas em diferentes áreas a projetos de treinamento e avaliação de IA de empresas de tecnologia. Como parte da Toloka, trabalha com redatores, editores, especialistas em controle de qualidade, cientistas e outros especialistas no assunto que ajudam a gerar dados de treinamento, avaliar a segurança e o raciocínio dos modelos, analisar a qualidade de conteúdo de mídia e criar cenários do mundo real para melhorar o desempenho e a confiabilidade da IA. A Mindrift seleciona e verifica os colaboradores por meio de avaliações e verificação de identidade e, em seguida, oferece oportunidades flexíveis de projetos remunerados relacionados ao treinamento e à avaliação de IA.

Engenheiro(a) sênior de scraping de dados em Python — freelancer remoto

Desenvolva e mantenha fluxos de scraping da web precisos e escaláveis para o projeto Tendem AI da Mindrift. Use Python e ferramentas de automação para extrair, validar e processar dados complexos da web.

Descrição

  • Gerenciar a extração de dados de ponta a ponta em sites complexos
  • Entregar conjuntos de dados estruturados com ampla cobertura, alta precisão e prazos confiáveis
  • Combinar ferramentas disponíveis com fluxos de trabalho personalizados para agilizar a coleta, a validação e a conclusão das tarefas
  • Coletar dados de sites dinâmicos e interativos, adaptando-se a conteúdo renderizado em JavaScript e a mudanças no comportamento dos sites
  • Proteger a qualidade dos conjuntos de dados com rotinas de validação, verificações entre fontes, padrões de formatação e revisão sistemática
  • Ampliar a capacidade de scraping para grandes conjuntos de dados por meio de processamento em lotes eficiente ou execução paralela
  • Acompanhar falhas de extração e preservar a estabilidade quando as estruturas dos sites sofrem pequenas alterações
  • Aplicar ferramentas como Apify e OpenRouter junto com forte discernimento técnico

Requisitos

  • Ter pelo menos cinco anos de experiência relevante em engenharia de dados, scraping da web, automação ou desenvolvimento de software
  • Demonstrar sólidos conhecimentos de scraping em Python com BeautifulSoup, Selenium ou ferramentas comparáveis, conteúdo em JavaScript e AJAX, rolagem infinita e APIs baseadas em proxy
  • Demonstrar capacidade de obter dados de fontes complexas, como hierarquias, páginas arquivadas e HTML inconsistente
  • Saber limpar, normalizar e validar dados para entrega estruturada em CSV, JSON e Google Sheets
  • Ter experiência prática em lidar, em escala, com proteções contra bots e estruturas de sites em constante mudança
  • Ter usado AWS ou infraestrutura de nuvem equivalente e conteinerização com Docker em projetos reais
  • Ter aplicado frameworks de LLM, como LangChain ou OpenRouter, em trabalhos de automação
  • Trabalhar com atenção aos detalhes e forte foco na precisão dos dados
  • Trabalhar de forma independente, tomar iniciativa e solucionar problemas sem supervisão próxima
  • Comunicar-se em inglês no nível Upper-intermediate (B2) ou superior
  • Ter bacharelado ou mestrado em Engenharia, Matemática Aplicada, Ciência da Computação ou área técnica relacionada é um diferencial
  • Ter um link para um perfil no GitHub é um diferencial

Benefícios

  • Trabalho freelance remoto em regime de meio período
  • Aproximadamente 10 a 20 horas por semana durante as fases ativas do projeto
  • Remuneração de até o equivalente a US$ 25 por hora, com base no nível de experiência e no ritmo de contribuição

Vagas relacionadas

Centorrino Technologies

Especialista em gestão de riscos — Austrália (remoto)

Centorrino Technologies

Implementa um sistema de gestão de riscos para organizações australianas reguladas, traduzindo necessidades de governança em configuração, testes, relatórios e adoção. Atua com as partes interessadas em todo o ciclo de implementação, trabalhando com dados de risco, controles e relatórios executivos.

Abrir
Mercor

Especialista em testes adversariais de segurança de IA

Mercor
51 – 200 Funcionários

A Mercor busca um especialista em testes adversariais de segurança de IA para investigar modelos de ponta com prompts adversariais. O trabalho envolve identificar vulnerabilidades e ajudar laboratórios parceiros a aprimorar o alinhamento, a robustez e a segurança dos modelos.

Abrir