Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг – дистанционна работа на свободна практика
Създавайте надеждни работни процеси за уеб скрейпинг и обработка на данни с Python за AI проектите на Mindrift. Извличайте, валидирайте и мащабирайте структурирани набори от данни от сложни и динамични уебсайтове.
Описание
- Управлявайте цялостни работни процеси за извличане от сложни уебсайтове и доставяйте пълни, точни и структурирани набори от данни
- Използвайте налични инструменти и персонализирани работни процеси, за да ускорите събирането на данни, валидирането и изпълнението на задачи според определените изисквания
- Адаптирайте методите за извличане към съдържание, визуализирано с JavaScript, интерактивни източници и променящо се поведение на уебсайтовете
- Прилагайте валидиране, проверки между източници, контрол на форматирането и систематична верификация, за да поддържате качеството на данните
- Мащабирайте скрейпинга на големи набори от данни чрез ефективна пакетна или паралелна обработка
- Наблюдавайте неуспешните извличания и поддържайте стабилност при малки промени в структурата на сайтовете
- Прилагайте експертни познания по уеб скрейпинг, извличане и обработка на данни с инструменти като Apify, OpenRouter и свързани технологии
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа област е предимство
- Силна техническа основа с практически опит в скриптиране, автоматизация и работни процеси за извличане на данни
- Задълбочен опит със скрейпинг на Python чрез BeautifulSoup, Selenium или подобни инструменти, включително JavaScript, AJAX, безкрайно превъртане и API с прокси
- Способност за извличане на данни от сложни йерархии, архивирани страници и непоследователни HTML структури
- Опит с почистване, нормализиране и валидиране на структурирани набори от данни във формати CSV, JSON или Google Sheets
- Опит с обработка на механизми против ботове и променящи се структури на сайтове в голям мащаб
- Практически опит с AWS или еквивалентна облачна инфраструктура и контейнеризация с Docker
- Практически опит с прилагането на LangChain, OpenRouter или подобни LLM рамки за задачи по автоматизация
- Изключително внимание към детайлите и силен ангажимент към точността на данните
- Самостоятелен подход със способност за независимо отстраняване на проблеми
- Владеене на английски език на горно средно ниво (B2) или по-високо
- Линк към GitHub е предимство
Придобивки
- Ангажимент на свободна практика
- Дистанционна работа на непълно работно време
- Приблизително 10–20 часа седмично по време на активните фази на проекта