Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши инженер по Python скрейпинг на данни (на свободна практика, дистанционно от Аржентина)
Изграждайте надеждни системи за скрейпинг на данни с Python за AI проектите на Mindrift. Извличайте, валидирайте и мащабирайте структурирани данни от сложни и динамични уебсайтове.
Описание
- Ръководете цялостни работни процеси за извличане на данни от сложни уебсайтове
- Предоставяйте изчерпателни, точни и надеждни структурирани набори от данни
- Комбинирайте наличните инструменти с персонализирани работни процеси за подобряване на събирането, валидирането и изпълнението на задачи
- Събирайте данни от динамични и интерактивни източници, като се адаптирате към съдържание, визуализирано чрез JavaScript, и променящото се поведение на сайтовете
- Поддържайте качеството на данните чрез валидиране, кръстосани проверки между източници, стандарти за форматиране и систематичен преглед
- Мащабирайте скрейпинга на големи обеми данни чрез ефективна пакетна и паралелна обработка
- Проследявайте неуспешните извличания и запазвайте надеждността на работните процеси при промени в структурата на сайтовете
- Използвайте Apify, OpenRouter и сродни технологии заедно със силна техническа преценка
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Напреднал опит със скрейпинг на данни с Python чрез BeautifulSoup, Selenium или сравними инструменти, съдържание на JavaScript и AJAX, безкрайно превъртане и API с прокси
- Способност за извличане на информация от йерархични данни, архивирани страници и неправилни HTML структури
- Опит в почистване, нормализиране и валидиране на данни за предоставяне във формати CSV, JSON или Google Sheets
- Практически опит с преодоляване на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура и контейнеризация, базирана на Docker
- Практически познания по LangChain, OpenRouter или сходни LLM рамки за автоматизация
- Изключително внимание към детайлите и силен фокус върху точността на данните
- Способност за самостоятелна работа, проучване на проблеми и разрешаването им без непосредствен надзор
- Английски език на горно-средно ниво (B2) или по-високо
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина е предимство
- GitHub профил или връзка към него е предимство
Придобивки
- Ангажимент на свободна практика
- Работа на непълно работно време, приблизително 10–20 часа седмично по време на активните фази на проекта
- Дистанционна работа от Аржентина
- Възможност за принос към иновативни технологични проекти чрез платформата Mindrift