
Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.
Провідний інженер зі збору даних на Python (неповний робочий день, віддалено з Грузії)
Mindrift шукає провідного Python-інженера для створення надійних процесів збору даних для технологічних проєктів у сфері ШІ. Роль зосереджена на вилученні, перевірці та масштабуванні структурованих наборів даних зі складних динамічних вебсайтів.
Опис
- Керувати наскрізними процесами вилучення даних зі складних вебсайтів
- Надавати повні, точні та надійні структуровані набори даних
- Застосовувати доступні інструменти й спеціалізовані робочі процеси для прискорення збору та перевірки даних, а також виконання завдань
- Вилучати дані з динамічних та інтерактивних вебджерел, зокрема зі сторінок, відрендерених за допомогою JavaScript
- Адаптувати методи збору даних у міру зміни поведінки вебсайтів
- Підтримувати якість даних за допомогою перевірок, контролю узгодженості між джерелами, вимог до форматування та систематичної верифікації
- Масштабувати збір великих наборів даних завдяки ефективній пакетній або паралельній обробці
- Відстежувати збої та зберігати стабільність за незначних змін структури вебсайтів
- Поєднувати такі інструменти, як Apify та OpenRouter, із відповідною технічною експертизою
Вимоги
- Щонайменше 5 років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення
- Бажано мати ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжній технічній сфері
- Впевнений досвід вебскрейпінгу на Python із BeautifulSoup, Selenium або подібними інструментами, роботи з динамічним контентом і API через проксі
- Підтверджена здатність вилучати інформацію зі складних структур, зокрема ієрархій, архівних сторінок і непослідовної HTML-розмітки
- Ґрунтовний досвід очищення, нормалізації та перевірки даних для передавання у форматах CSV, JSON або Google Sheets
- Практичний досвід роботи з механізмами захисту від ботів і динамічними структурами вебсайтів у великих масштабах
- Досвід роботи з AWS або подібною хмарною інфраструктурою та контейнеризацією на основі Docker
- Практичний досвід застосування LLM-фреймворків, таких як LangChain або OpenRouter, для завдань автоматизації
- Висока увага до деталей і сильна відданість точності даних
- Здатність працювати самостійно та усувати проблеми без постійного нагляду
- Англійська на рівні Upper-Intermediate (B2) або вище
- Посилання на профіль GitHub буде перевагою
Переваги
- Віддалена фрилансова співпраця з неповною зайнятістю
- Приблизно 10–20 годин на тиждень під час активних етапів проєктів
- Робота над технологічними проєктами та проєктами з розвитку ШІ