Mindrift
Mindrift
Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.

Провідний інженер зі збору даних на Python (неповний робочий день, віддалено з Грузії)

Mindrift шукає провідного Python-інженера для створення надійних процесів збору даних для технологічних проєктів у сфері ШІ. Роль зосереджена на вилученні, перевірці та масштабуванні структурованих наборів даних зі складних динамічних вебсайтів.

Опис

  • Керувати наскрізними процесами вилучення даних зі складних вебсайтів
  • Надавати повні, точні та надійні структуровані набори даних
  • Застосовувати доступні інструменти й спеціалізовані робочі процеси для прискорення збору та перевірки даних, а також виконання завдань
  • Вилучати дані з динамічних та інтерактивних вебджерел, зокрема зі сторінок, відрендерених за допомогою JavaScript
  • Адаптувати методи збору даних у міру зміни поведінки вебсайтів
  • Підтримувати якість даних за допомогою перевірок, контролю узгодженості між джерелами, вимог до форматування та систематичної верифікації
  • Масштабувати збір великих наборів даних завдяки ефективній пакетній або паралельній обробці
  • Відстежувати збої та зберігати стабільність за незначних змін структури вебсайтів
  • Поєднувати такі інструменти, як Apify та OpenRouter, із відповідною технічною експертизою

Вимоги

  • Щонайменше 5 років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення
  • Бажано мати ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжній технічній сфері
  • Впевнений досвід вебскрейпінгу на Python із BeautifulSoup, Selenium або подібними інструментами, роботи з динамічним контентом і API через проксі
  • Підтверджена здатність вилучати інформацію зі складних структур, зокрема ієрархій, архівних сторінок і непослідовної HTML-розмітки
  • Ґрунтовний досвід очищення, нормалізації та перевірки даних для передавання у форматах CSV, JSON або Google Sheets
  • Практичний досвід роботи з механізмами захисту від ботів і динамічними структурами вебсайтів у великих масштабах
  • Досвід роботи з AWS або подібною хмарною інфраструктурою та контейнеризацією на основі Docker
  • Практичний досвід застосування LLM-фреймворків, таких як LangChain або OpenRouter, для завдань автоматизації
  • Висока увага до деталей і сильна відданість точності даних
  • Здатність працювати самостійно та усувати проблеми без постійного нагляду
  • Англійська на рівні Upper-Intermediate (B2) або вище
  • Посилання на профіль GitHub буде перевагою

Переваги

  • Віддалена фрилансова співпраця з неповною зайнятістю
  • Приблизно 10–20 годин на тиждень під час активних етапів проєктів
  • Робота над технологічними проєктами та проєктами з розвитку ШІ