Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг на свободна практика – дистанционна работа
Изграждайте и управлявайте мащабируеми Python работни процеси за скрейпинг за AI проектите на Mindrift. Извличайте, проверявайте и обработвайте структурирани данни от сложни динамични уебсайтове.
Описание
- Ръководене на специализирани работни процеси за скрейпинг за проекта Tendem и приложения от реалния свят
- Управление на извличането от край до край в сложни уебсайтове
- Предоставяне на пълни, точни и надеждни структурирани набори от данни
- Прилагане на налични инструменти и персонализирани работни процеси за ускоряване на събирането, проверката и изпълнението на задачи
- Скрейпинг на динамични и интерактивни източници с адаптиране към съдържание, визуализирано чрез JavaScript, и променящо се поведение на сайтовете
- Поддържане на качеството на данните чрез проверка, сравнения между източници, стандарти за форматиране и систематичен преглед
- Мащабиране на скрейпинга на големи обеми чрез ефективна пакетна или паралелна обработка
- Наблюдение на грешките и запазване на стабилността при малки промени в структурата на сайтовете
- Използване на Apify, OpenRouter и свързани технологии заедно с техническа експертиза и специално адаптирани решения
Изисквания
- Изискват се поне пет години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Предимство е бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа област
- Силна практическа основа в скриптирането, автоматизацията и работните процеси за извличане на данни
- Задълбочен опит със скрейпинг на Python с BeautifulSoup, Selenium или сравними инструменти, JavaScript и AJAX съдържание, безкрайно превъртане и API чрез прокси
- Способност за извличане на информация от сложни структури като йерархии, архивирани страници и непоследователен HTML
- Опит с почистване, нормализиране и проверка на данни за предоставяне в структуриран формат CSV, JSON или Google Sheets
- Доказан опит в управлението на мерки срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Практически опит с AWS или еквивалентна облачна инфраструктура и контейнеризация, базирана на Docker
- Опит с прилагането на LangChain, OpenRouter или подобни LLM рамки за задачи по автоматизация
- Изключително внимание към детайлите и силен фокус върху точността на данните
- Способност за самостоятелна работа и ефективно отстраняване на проблеми
- GitHub профилът е предимство
- Изисква се английски език на ниво B2 или по-високо, над средното
Придобивки
- Ангажимент на свободна практика
- Дистанционен график на непълно работно време
- Приблизително 10–20 часа седмично по време на активните периоди на проекта
- Възможност за работа по иновативни технологични проекти чрез платформата Mindrift