Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг (на свободна практика, дистанционно от Египет)
Изграждайте надеждни Python системи за скрейпинг за AI проектите на Mindrift. Извличайте, валидирайте и мащабирайте структурирани данни от сложни и динамични уебсайтове.
Описание
- Управлявайте цялостни работни процеси за извличане на данни от сложни уебсайтове
- Предоставяйте изчерпателни, точни и надеждни структурирани набори от данни
- Използвайте инструменти и персонализирани работни процеси за ускоряване на събирането, валидирането и обработването на данни
- Надеждно извличайте данни от динамични, интерактивни източници и източници, визуализирани с JavaScript
- Адаптирайте методите за скрейпинг към промените в поведението и структурата на уебсайтовете
- Защитавайте качеството на данните чрез валидиране, проверки между източници, стандарти за форматиране и систематичен преглед
- Мащабирайте скрейпинга на големи набори от данни чрез ефективна пакетна или паралелна обработка
- Проследявайте неуспешните извличания и поддържайте стабилността при малки промени в уебсайтовете
- Прилагайте експертните си знания по уеб скрейпинг, извличане и обработване на данни в проекта Tendem
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Предпочита се бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина
- Напреднал опит със скрейпинг на Python чрез BeautifulSoup, Selenium или сравними инструменти, JavaScript/AJAX съдържание, безкрайно превъртане, API и прокси сървъри
- Способност за извличане на информация от сложни структури като йерархии, архивирани страници и непоследователен HTML
- Отлични умения за почистване, нормализиране и валидиране на данни, както и опит със създаване на набори от данни във формати CSV, JSON или Google Sheets
- Практически опит в управлението на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура и контейнеризация, базирана на Docker
- Практически опит с LLM рамки като LangChain, OpenRouter или подобни инструменти за автоматизация
- Изключително внимание към детайлите и постоянен фокус върху точността на данните
- Способност за самостоятелна работа, отстраняване на проблеми и управление на задачи с минимален надзор
- Английски език на ниво над средното (B2) или по-високо
- GitHub профил или линк към портфолио ще се считат за предимство
Придобивки
- Ангажираност по проект на свободна практика
- Работа на непълно работно време, приблизително 10–20 часа седмично по време на активните фази на проекта
- Дистанционна работа
- Гъвкава натовареност според нуждите на проекта