Mindrift
Mindrift
Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.

Провідний інженер зі збору даних на Python — віддалена робота з частковою зайнятістю

Керуйте надійним вебскрейпінгом і передаванням структурованих даних для технологічних AI-проєктів Mindrift. Автоматизуйте вилучення, перевірку та масштабовану обробку даних на складних динамічних вебсайтах.

Опис

  • Керувати вилученням даних на всіх етапах зі складних вебсайтів
  • Надавати повні, точні та надійні структуровані набори даних
  • Використовувати інструменти й індивідуальні робочі процеси для пришвидшення збору, перевірки та виконання завдань
  • Вилучати дані з динамічних вебджерел, адаптуючись до вмісту JavaScript і змін у поведінці сайтів
  • Підтримувати якість даних за допомогою перевірок, контролю узгодженості й форматування, а також систематичної верифікації
  • Масштабувати збір великих обсягів даних завдяки ефективній пакетній і паралельній обробці
  • Відстежувати збої та зберігати стабільність за незначних змін структури вебсайтів
  • Застосовувати Apify, OpenRouter та пов’язані технології для вилучення й обробки даних

Вимоги

  • Понад 5 років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення
  • Ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжній технічній сфері буде перевагою
  • Сильні технічні навички та практичний досвід написання скриптів, автоматизації й робочих процесів вилучення даних
  • Просунутий досвід скрейпінгу на Python із використанням BeautifulSoup, Selenium або подібних інструментів, динамічного вмісту JavaScript/AJAX, нескінченного прокручування та API через проксі
  • Уміння вилучати інформацію зі складних ієрархій, архівних сторінок і непослідовного HTML-коду
  • Досвід очищення, нормалізації та перевірки даних для передавання у форматах CSV, JSON або Google Sheets
  • Досвід роботи з механізмами захисту від ботів і мінливими структурами вебсайтів у масштабі
  • Досвід роботи з AWS або еквівалентною хмарною інфраструктурою та контейнеризацією Docker
  • Практичний досвід застосування LangChain, OpenRouter або подібних LLM-фреймворків для автоматизації
  • Уважне ставлення до точності та якості даних
  • Здатність працювати самостійно й ефективно усувати несправності
  • Англійська мова на рівні вище середнього (B2) або вище
  • Посилання на профіль GitHub буде перевагою

Переваги

  • Фрилансова співпраця
  • Віддалена робота з частковою зайнятістю
  • Приблизно 10–20 годин на тиждень у періоди активної роботи
  • До еквівалента $25 за годину залежно від рівня досвіду та темпу виконання завдань
  • Можливість працювати над інноваційними технологічними проєктами через платформу Mindrift