Mindrift
Mindrift
501 – 1.000 Funcionários
Inteligência artificialMarketplaceSaaS
A Mindrift é um marketplace de talentos especializados em inteligência artificial e uma plataforma SaaS que conecta colaboradores profissionais e especialistas em diferentes áreas a projetos de treinamento e avaliação de IA de empresas de tecnologia. Como parte da Toloka, trabalha com redatores, editores, especialistas em controle de qualidade, cientistas e outros especialistas no assunto que ajudam a gerar dados de treinamento, avaliar a segurança e o raciocínio dos modelos, analisar a qualidade de conteúdo de mídia e criar cenários do mundo real para melhorar o desempenho e a confiabilidade da IA. A Mindrift seleciona e verifica os colaboradores por meio de avaliações e verificação de identidade e, em seguida, oferece oportunidades flexíveis de projetos remunerados relacionados ao treinamento e à avaliação de IA.

Engenheiro sênior de scraping de dados em Python — Freelancer, remoto na Índia

A Mindrift busca um engenheiro sênior de Python para extrair, validar e ampliar fluxos de trabalho de dados estruturados da web para o projeto Tendem AI. A função envolve Python, infraestrutura em nuvem, Docker e frameworks de automação baseados em LLM.

Descrição

  • Gerenciar fluxos completos de extração de dados em sites complexos
  • Entregar conjuntos de dados estruturados com cobertura abrangente, alta precisão e prazos confiáveis
  • Usar ferramentas especializadas e fluxos de trabalho personalizados para acelerar a coleta, a validação e a execução de tarefas
  • Obter informações de fontes dinâmicas e interativas, incluindo páginas renderizadas com JavaScript
  • Ajustar os métodos de scraping conforme o comportamento dos sites e as estruturas das páginas mudam
  • Manter a qualidade dos dados por meio de validação, verificações entre fontes, padrões de formatação e revisão sistemática
  • Escalar o scraping de grandes volumes por meio de processamento eficiente em lotes e em paralelo
  • Monitorar falhas e apoiar operações de scraping confiáveis e estáveis
  • Aplicar conhecimentos de Python, scraping da web, extração de dados e processamento de dados ao projeto Tendem

Requisitos

  • Mais de 5 anos de experiência relevante em engenharia de dados, scraping da web, automação ou desenvolvimento de software
  • Graduação ou mestrado em engenharia, matemática aplicada, ciência da computação ou área técnica relacionada será considerado um diferencial
  • Sólida base prática em scripting, automação e fluxos de trabalho de extração de dados
  • Experiência avançada com scraping em Python, BeautifulSoup, Selenium ou ferramentas comparáveis, conteúdo dinâmico e APIs baseadas em proxy
  • Capacidade de extrair informações de estruturas complexas, incluindo hierarquias, páginas arquivadas e HTML inconsistente
  • Sólida experiência com limpeza, normalização e validação de dados
  • Experiência prática na gestão de proteções antibot e estruturas dinâmicas de sites em escala
  • Experiência com AWS ou infraestrutura em nuvem equivalente e conteinerização com Docker
  • Uso prático de LangChain, OpenRouter ou frameworks LLM semelhantes para automação
  • Abordagem meticulosa em relação à precisão e à qualidade dos dados
  • Capacidade de trabalhar de forma independente, solucionar problemas e gerenciar tarefas proativamente
  • Proficiência em inglês intermediário-avançado (B2) ou superior
  • Um link para o GitHub será considerado um diferencial

Benefícios

  • Trabalho como freelancer
  • Trabalho remoto em meio período a partir da Índia
  • Aproximadamente 10 a 20 horas por semana durante as fases ativas do projeto
  • Oportunidades de trabalhar em projetos de tecnologia por meio da plataforma Mindrift
  • Remuneração de até o equivalente a US$ 30 por hora, dependendo do nível de experiência e do ritmo de contribuição

Vagas relacionadas

Nexer Tech Talent

Desenvolvedor de software embarcado – sistemas de controle

Nexer Tech Talent

Analise, diagnostique e desenvolva sistemas de controle para um cliente do setor de manufatura, testando soluções em produtos físicos. Esta vaga de consultoria híbrida e em tempo integral fica na Suécia e tem foco no desenvolvimento de software embarcado.

Abrir
Dotdigital

Especialista em conteúdo e mídias sociais na Dotdigital (híbrido, Reino Unido)

Dotdigital

Crie campanhas visuais, em vídeo e para mídias sociais para a plataforma de experiência do cliente e dados da Dotdigital. Desenvolva programas globais de influenciadores, defesa da marca por funcionários e conteúdo.

Abrir