Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уебсайтове (на свободна практика, дистанционно в Саудитска Арабия)
Старши Python инженер, който разработва мащабируеми работни процеси за извличане на данни за AI проекта Tendem на Mindrift. Ролята е насочена към извличане, проверка и структуриране на сложни уеб данни с Python и инструменти за автоматизация.
Описание
- Ръководене на специализирани работни процеси за извличане на данни за проекта Tendem на Mindrift и приложенията му в реалния свят
- Управление на цялостни процеси за извличане от сложни уебсайтове
- Създаване на пълни, точни, надеждни и добре структурирани набори от данни
- Използване на Apify, OpenRouter и персонализирани работни процеси за оптимизиране на събирането, проверката и изпълнението на задачи
- Извличане на данни от динамични и интерактивни източници с адаптиране към съдържание, визуализирано чрез JavaScript, и към променящото се поведение на сайтовете
- Гарантиране на качеството на данните чрез проверки за валидност, сравнения между източници, контрол на форматирането и системна верификация
- Мащабиране на извличането на големи обеми данни чрез ефективна пакетна и паралелна обработка
- Проучване на повреди и поддържане на стабилността на процесите при малки промени в структурата на уебсайтовете
- Самостоятелно решаване на сложни задачи, свързани със скриптове, автоматизация, извличане, структуриране и валидиране на данни
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, извличане на данни от уебсайтове, автоматизация или разработка на софтуер
- Владеене на английски език на горно средно ниво (B2) или по-високо
- Напреднал опит с извличане на данни в Python чрез BeautifulSoup, Selenium или сравними инструменти, динамично съдържание с JavaScript/AJAX, безкрайно превъртане и API, базирани на прокси сървъри
- Способност за извличане на информация от сложни йерархии, архивирани страници и непоследователен HTML
- Отлични познания по почистване, нормализиране и валидиране на данни
- Практически опит с управлението на защити срещу ботове и променящи се структури на сайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура
- Опит с пакетиране на приложения чрез Docker
- Практически опит с LangChain, OpenRouter или сходни LLM рамки за автоматизация
- Изключително внимание към детайлите и силен фокус върху точността на данните
- Самомотивиран подход и увереност при самостоятелно отстраняване на проблеми
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сходна техническа специалност е предимство
- Линк към профил в GitHub е предимство
Придобивки
- Гъвкав ангажимент на свободна практика на непълно работно време
- Очаквана натовареност от 10 до 20 часа седмично през активните периоди на проекта
- Възнаграждение до еквивалента на 37 щатски долара на час в зависимост от опита и темпото на приноса
- Възможност за участие в иновативни проекти за развитие на изкуствения интелект и технологиите
- Изцяло дистанционна работа