Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши инженер по извличане на данни с Python в Италия (дистанционна работа)
Присъединете се към проекта Tendem AI на Mindrift, за да създавате надеждни процеси за уеб скрейпинг и структурирани данни. Ролята е насочена към динамични уебсайтове, валидиране на данни, мащабируемо извличане и автоматизация.
Описание
- Ръководете цялостни процеси за извличане от сложни уебсайтове, като предоставяте изчерпателни, точни и надеждни структурирани набори от данни
- Използвайте налични платформи и специално разработени работни процеси, за да ускорите събирането, валидирането и изпълнението на задачите според определените спецификации
- Адаптирайте методите за извличане към страници, визуализирани с JavaScript, интерактивни източници и променящо се поведение на уебсайтовете
- Поддържайте качеството на данните чрез валидиране, проверки между източници, контрол на форматирането и структуриран преглед преди предаване
- Разширявайте капацитета за скрейпинг на големи набори от данни чрез ефективна пакетна и паралелна обработка
- Проследявайте неуспешните извличания и запазвайте оперативната надеждност при промени в структурите на сайтовете
- Прилагайте експертните си познания в уеб скрейпинга, извличането и обработката на данни към проекта Tendem
- Съчетавайте техническа преценка с Apify, OpenRouter и други инструменти за разработване на ефективни персонализирани решения
Изисквания
- Изискват се над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Предимство е бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина
- Напреднал опит с Python скрейпинг чрез BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API с прокси
- Способност за извличане на данни от сложни източници като йерархии, архивирани страници и непоследователен HTML
- Опит с почистване, нормализиране и валидиране на данни за предаване във формати CSV, JSON или Google Sheets
- Практически опит с управлението на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Познаване на AWS или сравнима облачна инфраструктура и контейнеризация, базирана на Docker
- Практически опит с LangChain, OpenRouter или сходни LLM рамки за автоматизация
- Изключително внимание към детайлите и силен фокус върху точността на данните
- Способност за самостоятелна работа, проучване на проблеми и разрешаването им без непосредствен надзор
- Изисква се владеене на английски език на горно средно ниво (B2) или по-високо
- Предимство е връзка към профил в GitHub
Придобивки
- Ангажимент на свободна практика
- Дистанционна работа на непълно работно време
- Очакваното работно натоварване е 10–20 часа седмично по време на активните периоди на проекта