Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.
Провідний інженер зі збору даних на Python — віддалена робота на Філіппінах
Mindrift шукає провідного Python-інженера для створення надійних процесів збору даних для проєктів у сфері ШІ. Робота зосереджена на вилученні, перевірці та масштабуванні структурованих даних зі складних динамічних вебсайтів.
Опис
- Керувати повними процесами вилучення даних зі складних вебсайтів
- Створювати повні, точні та надійні структуровані набори даних
- Застосовувати інструменти й адаптовані процеси для пришвидшення збору, перевірки та виконання завдань
- Збирати інформацію з динамічних та інтерактивних джерел, зокрема зі сторінок, що відображаються за допомогою JavaScript
- Адаптувати методи збору даних у міру зміни поведінки та структури вебсайтів
- Забезпечувати якість даних за допомогою перевірки, зіставлення джерел, правил форматування та систематичного аналізу
- Масштабувати збір великих обсягів даних завдяки ефективній пакетній обробці та паралельному виконанню
- Відстежувати помилки вилучення та підтримувати стабільність процесів під час незначних змін вебсайтів
Вимоги
- Мати щонайменше п’ять років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення
- Бажано мати ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжної технічної дисципліни
- Мати значний досвід збору даних на Python із використанням BeautifulSoup, Selenium або зіставних інструментів, роботи з динамічним контентом і проксіфікованими API
- Вилучати інформацію зі складних джерел, таких як ієрархії, архівні сторінки та HTML із непослідовною структурою
- Очищати, нормалізувати та перевіряти дані для передавання у форматах CSV, JSON або Google Sheets
- Працювати із захистом від ботів і мінливою структурою вебсайтів у масштабних проєктах зі збору даних
- Використовувати AWS або зіставну хмарну інфраструктуру та контейнеризацію на основі Docker
- Застосовувати LLM-фреймворки, такі як LangChain, OpenRouter або подібні інструменти, у процесах автоматизації
- Працювати з винятковою увагою до деталей і постійною зосередженістю на точності даних
- Самостійно працювати, виявляючи та вирішуючи технічні проблеми
- Володіти англійською мовою на рівні вище середнього (B2) або вище
Переваги
- Проєктна робота на умовах фрилансу
- Віддалений формат із частковою зайнятістю
- Приблизно 10–20 годин на тиждень у періоди активних проєктів
- Оплата до еквівалента 30 доларів США на годину залежно від рівня досвіду та темпу внеску