Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уеб — дистанционна работа в Япония
Създавайте надеждни Python работни процеси за уеб скрейпинг за проекта Tendem AI на Mindrift. Извличайте, валидирайте и мащабирайте структурирани набори от данни от сложни и динамични уебсайтове.
Описание
- Ръководене на извличането на данни от край до край от сложни уебсайтове
- Предоставяне на пълни, точни и надеждни структурирани набори от данни
- Използване на налични инструменти и персонализирани работни процеси за ускоряване на събирането, валидирането и изпълнението на задачи
- Извличане на данни от динамични и интерактивни източници, включително съдържание, визуализирано чрез JavaScript
- Адаптиране на методите за скрейпинг при промени в поведението на уебсайтовете
- Поддържане на качеството на данните чрез валидиране, проверки между източници, стандарти за форматиране и системна проверка
- Мащабиране на скрейпинга на големи обеми чрез ефективна пакетна или паралелна обработка
- Наблюдение на грешките и запазване на стабилността при малки промени в структурата на сайта
- Прилагане на Apify, OpenRouter и други технологии за уеб извличане и обработка
Изисквания
- Поне 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа област е предимство
- Силен опит с Python скрейпинг чрез BeautifulSoup, Selenium или подобни инструменти, динамично съдържание като JavaScript, AJAX и безкрайно превъртане, както и API, достъпвани чрез прокси сървъри
- Способност за извличане на данни от сложни структури, включително йерархии, архивирани страници и непоследователен HTML
- Силни познания в почистването, нормализирането и валидирането на данни, с опит в предоставянето на набори от данни във формати CSV, JSON или Google Sheets
- Опит в управлението на механизми срещу ботове и динамични структури на сайтове в голям мащаб
- Опит с AWS или еквивалентна облачна инфраструктура
- Опит с Docker за контейнеризация
- Практически опит с рамки за големи езикови модели като LangChain, OpenRouter или подобни инструменти за автоматизация
- Силно внимание към детайлите и ангажираност към точността на данните
- Самостоятелен подход с умение за независимо отстраняване на проблеми
- Английски език на над средно ниво (B2) или по-високо
- Връзка към GitHub е предимство
Придобивки
- Възможност за работа на свободна практика
- Работа на непълно работно време, оценена на приблизително 10–20 часа седмично през активните фази
- Дистанционна работа
- Възможност за принос към иновативни проекти в областта на технологиите и разработването на изкуствен интелект