Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг — дистанционна работа на свободна практика
Изграждайте и поддържайте точни, мащабируеми работни процеси за уеб скрейпинг за проекта Tendem AI на Mindrift. Използвайте Python и инструменти за автоматизация за извличане, валидиране и обработка на сложни уеб данни.
Описание
- Поемайте извличането на данни от начало до край от сложни уебсайтове
- Доставяйте структурирани набори от данни с пълно покритие, висока точност и надеждни срокове
- Комбинирайте наличните инструменти с персонализирани работни процеси, за да ускорите събирането, валидирането и изпълнението на задачите
- Събирайте данни от динамични, интерактивни уебсайтове, като се адаптирате към съдържание, визуализирано чрез JavaScript, и към променящото се поведение на сайтовете
- Защитавайте качеството на наборите от данни чрез процедури за валидиране, проверки между източници, стандарти за форматиране и систематичен преглед
- Разширявайте капацитета за скрейпинг на големи набори от данни чрез ефективна пакетна или паралелна обработка
- Проследявайте неуспешните извличания и поддържайте стабилност при малки промени в структурите на сайтовете
- Прилагайте инструменти като Apify и OpenRouter заедно със силна техническа преценка
Изисквания
- Имате поне пет години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Демонстрирате силни умения за скрейпинг с Python, BeautifulSoup, Selenium или сходни инструменти, съдържание на JavaScript и AJAX, безкрайно превъртане и API, базирани на прокси сървъри
- Можете да извличате данни от сложни източници като йерархии, архивирани страници и непоследователен HTML код
- Знаете как да почиствате, нормализирате и валидирате данни за структурирана доставка във формати CSV, JSON и Google Sheets
- Имате практически опит с преодоляване на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Използвали сте AWS или сходна облачна инфраструктура и контейнеризация с Docker в реални проекти
- Прилагали сте LLM рамки като LangChain или OpenRouter в автоматизацията
- Работите внимателно и сте силно ориентирани към точността на данните
- Работите самостоятелно, проявявате инициативност и отстранявате проблеми без непосредствен надзор
- Комуникирате на английски език на ниво Upper-intermediate (B2) или по-високо
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина е предимство
- Връзка към профил в GitHub е предимство
Придобивки
- Работа на непълно работно време на свободна практика, изпълнявана дистанционно
- Приблизително 10–20 часа седмично по време на активните фази на проекта
- Възнаграждение до еквивалента на 25 щатски долара на час според нивото на опит и темпото на приноса