Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.
Старший інженер з вебскрейпінгу на Python (фриланс, віддалена робота з Португалії)
Створюйте надійні конвеєри вебскрейпінгу й обробки даних для проєкту Tendem AI компанії Mindrift. Видобувайте, перевіряйте та масштабуйте структуровані набори даних зі складних і динамічних вебсайтів.
Опис
- Виконувати повний цикл видобування даних зі складних вебсайтів, надаючи повні, точні й надійні структуровані набори даних
- Використовувати інструменти й адаптовані робочі процеси для пришвидшення збору та перевірки даних, а також виконання завдань
- Збирати дані з динамічних та інтерактивних джерел, адаптуючись до контенту, що генерується JavaScript, і змін у поведінці вебсайтів
- Підтримувати якість даних за допомогою перевірок, зіставлення з кількома джерелами, дотримання вимог до форматування та систематичного перегляду
- Розширювати операції зі скрейпінгу великих наборів даних завдяки ефективній пакетній або паралельній обробці
- Відстежувати помилки видобування та підтримувати стабільність у разі незначних змін структури сайтів
- Застосовувати експертизу у вебскрейпінгу, видобуванні та обробці даних у спеціалізованих робочих процесах проєктів Tendem
Вимоги
- Мати щонайменше п’ять років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробленні програмного забезпечення
- Мати сильні навички скрейпінгу на Python із використанням BeautifulSoup, Selenium або зіставних інструментів, а також працювати з JavaScript- і AJAX-контентом, нескінченним прокручуванням, API та проксі
- Уміти видобувати інформацію зі складних ієрархій, архівних сторінок і HTML із непослідовною структурою
- Мати ґрунтовні знання з очищення, нормалізації та перевірки даних, а також досвід підготовки структурованих наборів даних у форматах CSV, JSON і Google Sheets
- Мати досвід роботи з антибот-захистом і мінливою структурою сайтів у великому масштабі
- Мати досвід роботи з AWS або зіставною хмарною інфраструктурою та контейнеризацією на основі Docker
- Мати практичний досвід застосування LLM-фреймворків, таких як LangChain, OpenRouter або подібних інструментів, для завдань автоматизації
- Працювати уважно й послідовно зосереджуватися на точності даних
- Уміти працювати самостійно, відповідати за усунення несправностей і дотримуватися самостійного підходу
- Володіти англійською мовою на рівні Upper-intermediate (B2) або вище
- Ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжної технічної дисципліни буде перевагою
- Посилання на профіль GitHub буде перевагою
Переваги
- Фрилансова співпраця
- Неповна зайнятість: орієнтовно 10–20 годин на тиждень під час активних фаз проєкту
- Віддалений формат роботи
- Можливість працювати над інноваційними технологічними проєктами через платформу Mindrift