Mindrift
Mindrift
501 – 1.000 Funcionários
Inteligência artificialMarketplaceSaaS
A Mindrift é um marketplace de talentos especializados em inteligência artificial e uma plataforma SaaS que conecta colaboradores profissionais e especialistas em diferentes áreas a projetos de treinamento e avaliação de IA de empresas de tecnologia. Como parte da Toloka, trabalha com redatores, editores, especialistas em controle de qualidade, cientistas e outros especialistas no assunto que ajudam a gerar dados de treinamento, avaliar a segurança e o raciocínio dos modelos, analisar a qualidade de conteúdo de mídia e criar cenários do mundo real para melhorar o desempenho e a confiabilidade da IA. A Mindrift seleciona e verifica os colaboradores por meio de avaliações e verificação de identidade e, em seguida, oferece oportunidades flexíveis de projetos remunerados relacionados ao treinamento e à avaliação de IA.

Engenheiro sênior de raspagem de dados em Python — Freelancer remoto na Romênia

A Mindrift busca um engenheiro sênior de Python para criar fluxos de trabalho confiáveis de raspagem e extração de dados para projetos de IA. A função se concentra em transformar sites dinâmicos em conjuntos de dados precisos, validados e estruturados.

Descrição

  • Gerenciar fluxos completos de trabalho de extração de dados em sites complexos
  • Entregar conjuntos de dados estruturados abrangentes, precisos e confiáveis
  • Usar ferramentas disponíveis e fluxos de trabalho personalizados para acelerar a coleta, a validação e a conclusão de tarefas
  • Extrair dados de sites dinâmicos e interativos com confiabilidade, adaptando-se a conteúdos renderizados em JavaScript e às mudanças no comportamento dos sites
  • Manter a qualidade dos dados por meio de validações, verificações entre fontes, requisitos de formatação e revisões sistemáticas
  • Escalar a raspagem de grandes volumes com processamento em lotes eficiente ou processamento paralelo
  • Acompanhar falhas de extração e preservar a estabilidade do fluxo de trabalho diante de pequenas mudanças na estrutura dos sites
  • Usar Apify, OpenRouter e tecnologias relacionadas em fluxos de trabalho de extração web e processamento de dados

Requisitos

  • É necessário ter pelo menos 5 anos de experiência relevante em engenharia de dados, raspagem web, automação ou desenvolvimento de software
  • Será considerado um diferencial ter bacharelado ou mestrado em engenharia, matemática aplicada, ciência da computação ou área técnica relacionada
  • Sólidos fundamentos técnicos e experiência prática com scripts, automação e fluxos de trabalho de extração de dados
  • Experiência avançada com raspagem em Python usando BeautifulSoup, Selenium ou ferramentas comparáveis, conteúdo JavaScript/AJAX, rolagem infinita e APIs baseadas em proxy
  • Capacidade de extrair informações de fontes complexas, incluindo hierarquias, páginas arquivadas e HTML inconsistente
  • Sólidas habilidades de limpeza, normalização e validação de dados, com experiência na produção de conjuntos de dados em CSV, JSON ou Google Sheets
  • Experiência comprovada no enfrentamento de sistemas antibot e de estruturas de sites em mudança em escala
  • Experiência prática com AWS ou infraestrutura de nuvem comparável e conteinerização com Docker
  • Uso prático de LangChain, OpenRouter ou frameworks de LLM semelhantes para trabalhos de automação
  • Abordagem meticulosa em relação aos detalhes e à precisão dos dados
  • Capacidade de trabalhar de forma independente, investigar problemas e resolvê-los sem supervisão próxima
  • É necessário ter proficiência em inglês intermediário-avançado (B2) ou superior

Benefícios

  • Trabalho como freelancer
  • Carga horária parcial de aproximadamente 10 a 20 horas por semana durante os períodos de atividade dos projetos
  • Modelo de trabalho remoto
  • Remuneração de até o equivalente a US$ 40 por hora, com base no nível de experiência e no ritmo de contribuição

Vagas relacionadas

Walmart

Engenheiro(a) de software de destaque da Walmart, plataforma WFS-ICC Atlas

Walmart

Lidere a arquitetura e a engenharia de produção das plataformas do Walmart Fulfillment Services que atendem milhões de vendedores. A função tem foco em sistemas distribuídos e recursos de plataforma com IA e é presencial em Bangalore.

Abrir
Walmart

Diretor de Engenharia de Software, Big Data — Walmart

Walmart

Lidere as plataformas de Big Data do Walmart para análises de varejo em grande escala e IA, em Bangalore. Defina a direção de engenharia para sistemas distribuídos e o desenvolvimento de IA agêntica.

Abrir
Mirantis

Arquiteto sênior de soluções de redes para infraestrutura de IA

Mirantis

Projete redes para clusters de GPU na plataforma de infraestrutura de IA nativa do Kubernetes da Mirantis. Crie arquiteturas de referência, automação e provas de conceito para clientes do k0rdent AI.

Abrir