Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг на данни – дистанционна работа на свободна практика
Mindrift търси старши Python инженер за изграждане на надеждни процеси за уеб скрейпинг и обработка на данни за проекти в областта на изкуствения интелект. Ролята е насочена към извличане, валидиране и мащабиране на структурирани набори от данни от сложни уебсайтове.
Описание
- Ръководене на цялостни процеси за извличане на данни от сложни уебсайтове
- Предоставяне на пълни, точни и надеждни структурирани набори от данни
- Използване на налични инструменти и персонализирани процеси за ускоряване на събирането на данни, валидирането и изпълнението на задачи
- Събиране на данни от динамични и интерактивни източници с адаптиране към съдържание, визуализирано чрез JavaScript, и променящото се поведение на уебсайтовете
- Поддържане на качеството на данните чрез проверки за валидност, прегледи на съгласуваността между източниците, изисквания за форматиране и системна верификация
- Мащабиране на скрейпинга на големи набори от данни чрез ефективна пакетна или паралелна обработка
- Наблюдение на сривове и запазване на стабилността на скрейпърите при малки промени в структурата на уебсайтовете
- Работа с Apify, OpenRouter и други подходящи технологии
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Английски език на ниво над средното B2 или по-високо
- Силни умения за Python скрейпинг с BeautifulSoup, Selenium или сравними инструменти, динамично съдържание като JavaScript, AJAX и безкрайно превъртане, както и API, базирани на прокси сървъри
- Способност за извличане на информация от сложни структури, включително йерархии, архивирани страници и непоследователен HTML
- Опит с почистване, нормализиране и валидиране на данни за предоставяне във формати CSV, JSON или Google Sheets
- Опит с управлението на механизми срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Практически опит с AWS или еквивалентна облачна инфраструктура и контейнеризация с Docker
- Практически опит с LangChain, OpenRouter или сходни LLM рамки за автоматизация
- Силно внимание към детайлите и ангажираност към точността на данните
- Способност за самостоятелна работа и ефективно отстраняване на проблеми
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина е предимство
- Връзка към профил в GitHub е предимство
Придобивки
- Ангажимент на свободна практика
- Дистанционна работа на непълно работно време
- Приблизително 10–20 часа седмично по време на активните фази на проекта
- До еквивалента на 40 USD на час в зависимост от нивото на опит и темпото на приноса