Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг (на свободна практика, дистанционна работа от Португалия)
Изграждайте надеждни процеси за уеб скрейпинг и обработка на данни за проекта Tendem AI на Mindrift. Извличайте, проверявайте и мащабирайте структурирани набори от данни от сложни и динамични уебсайтове.
Описание
- Управлявайте извличането от сложни уебсайтове от край до край, като предоставяте пълни, точни и надеждни структурирани набори от данни
- Използвайте инструменти и адаптирани работни процеси, за да ускорите събирането на данни, проверката и изпълнението на задачите
- Събирайте данни от динамични и интерактивни източници, като се адаптирате към съдържание, визуализирано с JavaScript, и променящото се поведение на уебсайтовете
- Поддържайте качеството на данните чрез проверки за валидиране, сравнения между източници, изисквания за форматиране и систематичен преглед
- Разширявайте операциите по скрейпинг за големи набори от данни чрез ефективна пакетна или паралелна обработка
- Проследявайте неуспешните извличания и запазвайте стабилността при малки структурни промени в сайтовете
- Прилагайте експертни познания по уеб скрейпинг, извличане и обработка на данни в специализираните работни процеси на проекта Tendem
Изисквания
- Имате поне пет години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Демонстрирате силни умения за скрейпинг с Python и BeautifulSoup, Selenium или сравними инструменти, както и опит с JavaScript и AJAX съдържание, безкрайно превъртане, API и проксита
- Умеете да извличате информация от сложни йерархии, архивирани страници и непоследователен HTML
- Имате стабилна основа в почистването, нормализирането и валидирането на данни, както и опит със създаването на структурирани набори от данни във формати CSV, JSON и Google Sheets
- Демонстрирате опит в управлението на защити срещу ботове и променящи се структури на сайтове в голям мащаб
- Имате опит с AWS или сравнима облачна инфраструктура и контейнеризация, базирана на Docker
- Имате практически опит с прилагането на LLM рамки като LangChain, OpenRouter или подобни инструменти за задачи по автоматизация
- Работите с голямо внимание към детайлите и постоянен фокус върху точността на данните
- Работите самостоятелно, поемате отговорност за отстраняването на проблеми и поддържате самоинициативен подход
- Владеете английски език на ниво Upper-intermediate (B2) или по-високо
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина е предимство
- Връзка към профил в GitHub е предимство
Придобивки
- Ангажимент на свободна практика
- Очаквана заетост на непълен работен ден от 10–20 часа седмично по време на активните фази на проекта
- Дистанционна работа
- Възможност за работа по иновативни технологични проекти чрез платформата Mindrift