Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг (на свободна практика, дистанционно в Гърция)
Изграждайте и мащабирайте надеждни работни процеси за скрейпинг с Python за технологичните проекти на Mindrift в областта на изкуствения интелект. Извличайте, валидирайте и доставяйте структурирани набори от данни от сложни динамични уебсайтове.
Описание
- Управление на цялостни работни процеси за извличане на данни от сложни уебсайтове
- Доставка на пълни, точни и надеждни структурирани набори от данни
- Прилагане на инструменти и персонализирани работни процеси за ускоряване на събирането, валидирането и изпълнението на задачи с данни
- Събиране на данни от динамични и интерактивни източници, включително страници, визуализирани с JavaScript
- Адаптиране на методите за скрейпинг при промени в поведението на уебсайтовете
- Поддържане на качеството на данните чрез валидиране, проверки между източници, стандарти за форматиране и системна верификация
- Мащабиране на скрейпинга на големи набори от данни чрез ефективна пакетна или паралелна обработка
- Наблюдение на неуспешните извличания и запазване на стабилността при незначителни промени в структурата на сайтовете
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Напреднал опит с уеб скрейпинг на Python чрез BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API, базирани на прокси сървъри
- Способност за извличане на информация от сложни структури, включително йерархии, архивирани страници и непоследователен HTML
- Опит с почистване, нормализиране и валидиране на данни за структурирана доставка във формати CSV, JSON и Google Sheets
- Опит с преодоляване на антибот системи и променящи се структури на уебсайтове в голям мащаб
- Опит с AWS или еквивалентна облачна инфраструктура и контейнеризация с Docker
- Практически опит с прилагането на LLM рамки като LangChain или OpenRouter за задачи по автоматизация
- Прецизен подход към точността на данните
- Умения за самостоятелно и независимо отстраняване на проблеми
- Английски език на ниво над средното (B2) или по-високо
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа област е предимство
- Профил в GitHub е предимство
Придобивки
- Дистанционна работа
- Непълно работно време от приблизително 10–20 часа седмично по време на активните фази на проектите
- Ангажимент на свободна практика
- Работа по иновативни технологични проекти чрез платформата Mindrift