Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уебсайтове — дистанционна работа във Филипините
Mindrift търси старши Python инженер за изграждане на надеждни процеси за извличане на данни за проекти с изкуствен интелект. Ролята е насочена към извличане, валидиране и мащабиране на структурирани данни от сложни динамични уебсайтове.
Описание
- Управление на цялостни процеси за извличане на данни от сложни уебсайтове
- Създаване на структурирани набори от данни, които са изчерпателни, точни и надеждни
- Прилагане на инструменти и специално разработени работни процеси за ускоряване на събирането, валидирането и изпълнението на задачите
- Събиране на информация от динамични и интерактивни източници, включително страници, визуализирани чрез JavaScript
- Адаптиране на методите за извличане според промените в поведението и структурата на уебсайтовете
- Защита на качеството на данните чрез валидиране, проверки между източници, правила за форматиране и систематичен преглед
- Мащабиране на извличането на големи обеми данни чрез ефективна пакетна и паралелна обработка
- Проследяване на грешките при извличане и поддържане на стабилността на работните процеси при малки промени в уебсайтовете
Изисквания
- Най-малко пет години релевантен опит в инженеринг на данни, извличане на данни от уебсайтове, автоматизация или разработка на софтуер
- Предпочита се бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина
- Доказан богат опит с извличане на данни чрез Python, BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API с прокси сървъри
- Извличане на информация от сложни източници като йерархии, архивирани страници и непоследователен HTML
- Почистване, нормализиране и валидиране на данни за предоставяне във формати CSV, JSON или Google Sheets
- Работа със защити срещу ботове и променящи се структури на уебсайтове в мащабни проекти за извличане на данни
- Използване на AWS или сравнима облачна инфраструктура и контейнеризация, базирана на Docker
- Прилагане на LLM рамки като LangChain, OpenRouter или сходни инструменти в работни процеси за автоматизация
- Изключително внимание към детайлите и постоянен фокус върху точността на данните
- Самостоятелна работа при диагностициране и разрешаване на технически проблеми
- Комуникация на английски език на ниво над средното (B2) или по-високо
Придобивки
- Ангажимент по проект на свободна практика
- Дистанционна работа на непълно работно време
- Приблизително 10–20 часа седмично по време на активните периоди на проекта
- Възнаграждение до равностойността на 30 щатски долара на час в зависимост от нивото на опит и темпото на приноса