Mindrift
Mindrift
Mindrift est une place de marché de talents en intelligence artificielle et une plateforme SaaS qui met en relation des contributeurs professionnels et des experts dans différents domaines avec des projets d’entraînement et d’évaluation de l’IA menés par des entreprises technologiques. En tant qu’entité de Toloka, elle collabore avec des rédacteurs, des éditeurs, des spécialistes de l’assurance qualité, des scientifiques et d’autres experts du domaine, qui contribuent à produire des données d’entraînement, à évaluer la sécurité et le raisonnement des modèles, à contrôler la qualité des contenus multimédias et à créer des scénarios réels pour améliorer les performances et la fiabilité de l’IA. Mindrift sélectionne et vérifie les contributeurs au moyen d’évaluations et d’une vérification d’identité, puis leur propose des projets rémunérés flexibles dans le domaine de l’entraînement et de l’évaluation de l’IA.

Ingénieur senior en scraping de données Python — télétravail au Japon

Développez des flux fiables de scraping web en Python pour le projet Tendem AI de Mindrift. Extrayez, validez et mettez à l’échelle des jeux de données structurés provenant de sites complexes et dynamiques.

Description

  • Piloter l’extraction de données de bout en bout sur des sites web complexes
  • Livrer des jeux de données structurés complets, précis et fiables
  • Utiliser les outils disponibles et des flux de travail personnalisés pour accélérer la collecte, la validation et l’exécution des tâches
  • Extraire des données à partir de sources dynamiques et interactives, notamment du contenu rendu par JavaScript
  • Adapter les méthodes de scraping à mesure que le comportement des sites évolue
  • Maintenir la qualité des données grâce à la validation, aux vérifications entre sources, aux normes de formatage et à une vérification systématique
  • Mettre à l’échelle le scraping de gros volumes grâce à un traitement efficace par lots ou en parallèle
  • Surveiller les erreurs et préserver la stabilité lors de changements mineurs de la structure des sites
  • Appliquer Apify, OpenRouter et d’autres technologies à l’extraction et au traitement web

Exigences

  • Au moins 5 ans d’expérience pertinente en ingénierie des données, scraping web, automatisation ou développement logiciel
  • Un diplôme de licence ou de master en ingénierie, mathématiques appliquées, informatique ou dans un domaine technique connexe est un plus
  • Solide expérience du scraping Python avec BeautifulSoup, Selenium ou des outils similaires, du contenu dynamique tel que JavaScript, AJAX et le défilement infini, ainsi que des API accessibles via des proxys
  • Capacité à extraire des données à partir de structures complexes, notamment des hiérarchies, des pages archivées et du HTML incohérent
  • Solide expérience du nettoyage, de la normalisation et de la validation des données, avec expérience de la livraison de jeux de données CSV, JSON ou Google Sheets
  • Expérience de la gestion des mécanismes antibot et des structures de sites dynamiques à grande échelle
  • Expérience avec AWS ou une infrastructure cloud équivalente
  • Expérience de l’utilisation de Docker pour la conteneurisation
  • Expérience pratique des frameworks de LLM tels que LangChain, OpenRouter ou des outils similaires pour l’automatisation
  • Grande attention aux détails et engagement envers la précision des données
  • Autonomie et capacité à résoudre les problèmes de manière indépendante
  • Maîtrise de l’anglais de niveau intermédiaire supérieur (B2) ou plus
  • Un lien GitHub est un plus

Avantages

  • Opportunité de travail freelance
  • Travail à temps partiel, estimé à environ 10 à 20 heures par semaine pendant les phases actives
  • Travail à distance
  • Opportunité de contribuer à des projets innovants dans les domaines de la technologie et de l’intelligence artificielle

Offres similaires

Cisco

Responsable senior de conception numérique ASIC, photonique sur silicium

Cisco

Piloter la conception numérique des solutions Cisco de photonique sur silicium et de réseaux optiques à haut débit, couvrant les ASIC et la logique des sous-systèmes CPU. Intervenir sur l’architecture, la vérification, le tapeout et la validation après fabrication du silicium.

Ouvrir
Cisco

Responsable senior de conception numérique ASIC pour sous-systèmes CPU et SoC complexes

Cisco

Pilotez la conception numérique d’ASIC et de SoC, de l’architecture et du RTL jusqu’à la fabrication et à la validation après silicium. Encadrez les équipes d’ingénierie en photonique sur silicium et du Client Optics Group qui développent les produits de réseau optique de Cisco.

Ouvrir
Nexer Tech Talent

Développeur de logiciels embarqués – systèmes de contrôle

Nexer Tech Talent

Analyse, dépanne et développe des systèmes de contrôle pour un client du secteur manufacturier, et teste les solutions sur des produits physiques. Ce poste de conseil hybride à temps plein est basé en Suède et porte sur le développement de logiciels embarqués.

Ouvrir
Lifecycle Software

Spécialiste à distance en conception de solutions (Portugal)

Lifecycle Software
11 – 50 Employés
ConseilLogistiqueMarketing

Définissez les besoins des clients et les cahiers des charges pour les solutions de support aux activités télécoms de Lifecycle Software. Coordonnez les livraisons agiles, les intégrations et le transfert vers les opérations après mise en œuvre.

Ouvrir
Dotdigital

Spécialiste du contenu et des réseaux sociaux chez Dotdigital (hybride, Royaume-Uni)

Dotdigital

Créez des campagnes visuelles, vidéo et sociales pour la plateforme d’expérience client et de données de Dotdigital. Développez des programmes d’influence, de promotion par les employés et de contenu à l’échelle mondiale.

Ouvrir