
Mindrift est une place de marché de talents en intelligence artificielle et une plateforme SaaS qui met en relation des contributeurs professionnels et des experts dans différents domaines avec des projets d’entraînement et d’évaluation de l’IA menés par des entreprises technologiques. En tant qu’entité de Toloka, elle collabore avec des rédacteurs, des éditeurs, des spécialistes de l’assurance qualité, des scientifiques et d’autres experts du domaine, qui contribuent à produire des données d’entraînement, à évaluer la sécurité et le raisonnement des modèles, à contrôler la qualité des contenus multimédias et à créer des scénarios réels pour améliorer les performances et la fiabilité de l’IA. Mindrift sélectionne et vérifie les contributeurs au moyen d’évaluations et d’une vérification d’identité, puis leur propose des projets rémunérés flexibles dans le domaine de l’entraînement et de l’évaluation de l’IA.
Ingénieur senior en scraping de données Python — Freelance, télétravail depuis l’Inde
Mindrift recherche un ingénieur senior Python pour extraire, valider et faire évoluer des flux de données web structurées pour le projet Tendem AI. Le poste comprend Python, l’infrastructure cloud, Docker et des frameworks d’automatisation basés sur les LLM.
Description
- Gérer l’ensemble des flux d’extraction de données sur des sites web complexes
- Fournir des jeux de données structurés avec une couverture complète, une grande précision et des délais fiables
- Utiliser des outils spécialisés et des flux de travail adaptés pour accélérer la collecte, la validation et l’exécution des tâches
- Récupérer des informations à partir de sources dynamiques et interactives, notamment des pages rendues en JavaScript
- Adapter les méthodes de scraping lorsque le comportement des sites et la structure des pages évoluent
- Maintenir la qualité des données grâce à la validation, aux vérifications croisées, aux normes de formatage et à une revue systématique
- Faire évoluer le scraping de gros volumes grâce à un traitement efficace par lots et en parallèle
- Suivre les échecs et contribuer à des opérations de scraping fiables et stables
- Mettre son expertise en Python, scraping web, extraction et traitement des données au service du projet Tendem
Exigences
- Plus de 5 ans d’expérience pertinente en ingénierie des données, scraping web, automatisation ou développement logiciel
- Un diplôme de licence ou de master en ingénierie, mathématiques appliquées, informatique ou dans un domaine technique connexe est un atout
- Solide base pratique en scripting, automatisation et flux de travail d’extraction de données
- Expérience avancée du scraping Python avec BeautifulSoup, Selenium ou des outils comparables, du contenu dynamique et des API utilisant des proxys
- Capacité à extraire des informations de structures complexes, notamment des hiérarchies, des pages archivées et du HTML incohérent
- Solide expérience du nettoyage, de la normalisation et de la validation des données
- Expérience pratique de la gestion des protections antibot et des structures de sites web dynamiques à grande échelle
- Expérience avec AWS ou une infrastructure cloud comparable et la conteneurisation Docker
- Utilisation pratique de LangChain, OpenRouter ou de frameworks LLM similaires pour l’automatisation
- Approche minutieuse de la précision et de la qualité des données
- Capacité à travailler de manière autonome, à résoudre les problèmes et à gérer les tâches de façon proactive
- Anglais de niveau intermédiaire supérieur (B2) ou plus
- Un lien GitHub est un atout
Avantages
- Mission freelance
- Travail à distance à temps partiel depuis l’Inde
- Environ 10 à 20 heures par semaine pendant les phases actives du projet
- Possibilités de travailler sur des projets technologiques via la plateforme Mindrift
- Rémunération pouvant atteindre l’équivalent de 30 USD par heure, selon le niveau d’expérience et le rythme de contribution