
Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.
Провідний інженер зі збору даних на Python — віддалена робота з частковою зайнятістю
Керуйте надійним вебскрейпінгом і передаванням структурованих даних для технологічних AI-проєктів Mindrift. Автоматизуйте вилучення, перевірку та масштабовану обробку даних на складних динамічних вебсайтах.
Опис
- Керувати вилученням даних на всіх етапах зі складних вебсайтів
- Надавати повні, точні та надійні структуровані набори даних
- Використовувати інструменти й індивідуальні робочі процеси для пришвидшення збору, перевірки та виконання завдань
- Вилучати дані з динамічних вебджерел, адаптуючись до вмісту JavaScript і змін у поведінці сайтів
- Підтримувати якість даних за допомогою перевірок, контролю узгодженості й форматування, а також систематичної верифікації
- Масштабувати збір великих обсягів даних завдяки ефективній пакетній і паралельній обробці
- Відстежувати збої та зберігати стабільність за незначних змін структури вебсайтів
- Застосовувати Apify, OpenRouter та пов’язані технології для вилучення й обробки даних
Вимоги
- Понад 5 років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення
- Ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжній технічній сфері буде перевагою
- Сильні технічні навички та практичний досвід написання скриптів, автоматизації й робочих процесів вилучення даних
- Просунутий досвід скрейпінгу на Python із використанням BeautifulSoup, Selenium або подібних інструментів, динамічного вмісту JavaScript/AJAX, нескінченного прокручування та API через проксі
- Уміння вилучати інформацію зі складних ієрархій, архівних сторінок і непослідовного HTML-коду
- Досвід очищення, нормалізації та перевірки даних для передавання у форматах CSV, JSON або Google Sheets
- Досвід роботи з механізмами захисту від ботів і мінливими структурами вебсайтів у масштабі
- Досвід роботи з AWS або еквівалентною хмарною інфраструктурою та контейнеризацією Docker
- Практичний досвід застосування LangChain, OpenRouter або подібних LLM-фреймворків для автоматизації
- Уважне ставлення до точності та якості даних
- Здатність працювати самостійно й ефективно усувати несправності
- Англійська мова на рівні вище середнього (B2) або вище
- Посилання на профіль GitHub буде перевагою
Переваги
- Фрилансова співпраця
- Віддалена робота з частковою зайнятістю
- Приблизно 10–20 годин на тиждень у періоди активної роботи
- До еквівалента $25 за годину залежно від рівня досвіду та темпу виконання завдань
- Можливість працювати над інноваційними технологічними проєктами через платформу Mindrift