Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг — фрийланс, дистанционна работа от Индия
Mindrift търси старши Python инженер за извличане, валидиране и мащабиране на работни процеси със структурирани уеб данни за проекта Tendem AI. Ролята включва Python, облачна инфраструктура, Docker и рамки за автоматизация, базирани на големи езикови модели.
Описание
- Управление на цялостни работни процеси за извличане на данни от сложни уебсайтове
- Предоставяне на структурирани набори от данни с цялостно покритие, висока точност и надеждни срокове за изпълнение
- Използване на специализирани инструменти и адаптирани работни процеси за ускоряване на събирането, валидирането и изпълнението на задачи
- Извличане на информация от динамични и интерактивни източници, включително страници, визуализирани с JavaScript
- Адаптиране на методите за скрейпинг при промени в поведението и структурата на уебсайтовете
- Поддържане на качеството на данните чрез валидиране, проверки между различни източници, стандарти за форматиране и систематичен преглед
- Мащабиране на скрейпинг на големи обеми данни чрез ефективна пакетна и паралелна обработка
- Проследяване на грешките и подпомагане на надеждната и стабилна работа на скрейпинга
- Прилагане на експертни знания по Python, уеб скрейпинг, извличане и обработка на данни в проекта Tendem
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа област е предимство
- Силна практическа основа в скриптирането, автоматизацията и работните процеси за извличане на данни
- Напреднал опит с Python скрейпинг чрез BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API с прокси сървъри
- Способност за извличане на информация от сложни структури, включително йерархии, архивирани страници и непоследователен HTML
- Силен опит с почистване, нормализиране и валидиране на данни
- Практически опит с управление на защити срещу ботове и динамични структури на уебсайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура и контейнеризация с Docker
- Практическо използване на LangChain, OpenRouter или сходни LLM рамки за автоматизация
- Прецизен подход към точността и качеството на данните
- Способност за самостоятелна работа, отстраняване на проблеми и проактивно управление на задачи
- Английски език на горно средно ниво (B2) или по-високо
- Връзка към GitHub е предимство
Придобивки
- Фрийланс ангажимент
- Дистанционна работа на непълно работно време от Индия
- Приблизително 10–20 часа седмично по време на активните фази на проекта
- Възможности за работа по технологични проекти чрез платформата Mindrift
- Възнаграждение до равностойността на 30 щатски долара на час в зависимост от нивото на опит и темпото на приноса