Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уебсайтове (непълно работно време, дистанционна работа в Грузия)
Mindrift търси старши Python инженер за изграждане на надеждни процеси за извличане на данни от уебсайтове за проекти в областта на AI технологиите. Ролята е насочена към извличане, валидиране и мащабиране на структурирани набори от данни от сложни, динамични уебсайтове.
Описание
- Управление на цялостни процеси за извличане на данни от сложни уебсайтове
- Предоставяне на пълни, точни и надеждни структурирани набори от данни
- Прилагане на налични инструменти и персонализирани процеси за ускоряване на събирането на данни, валидирането и изпълнението на задачи
- Извличане на данни от динамични и интерактивни уеб източници, включително страници, визуализирани с JavaScript
- Адаптиране на методите за извличане при промени в поведението на уебсайтовете
- Поддържане на качеството на данните чрез проверки за валидност, контрол на съгласуваността между източници, изисквания за форматиране и системна проверка
- Мащабиране на извличането от големи набори от данни чрез ефективна пакетна или паралелна обработка
- Наблюдение на сривове и запазване на стабилността при малки промени в структурата на уебсайтовете
- Комбиниране на инструменти като Apify и OpenRouter с подходящи технически знания
Изисквания
- Най-малко 5 години релевантен опит в инженеринг на данни, извличане на данни от уебсайтове, автоматизация или разработка на софтуер
- Предпочита се бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа област
- Силен опит с извличане на данни от уебсайтове чрез Python, включително BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API, достъпвани чрез прокси сървъри
- Доказана способност за извличане на информация от сложни структури, включително йерархии, архивирани страници и непоследователен HTML
- Солиден опит в почистването, нормализирането и валидирането на данни за предоставяне във формати CSV, JSON или Google Sheets
- Практически опит в управлението на механизми срещу ботове и динамични структури на уебсайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура и контейнеризация на базата на Docker
- Практически опит с прилагането на LLM рамки като LangChain или OpenRouter към задачи за автоматизация
- Силно внимание към детайлите и сериозен ангажимент към точността на данните
- Способност за самостоятелна работа и отстраняване на проблеми без непосредствен надзор
- Английски език на горно-средно ниво (B2) или по-високо
- Връзка към профил в GitHub е предимство
Придобивки
- Дистанционен freelance ангажимент на непълно работно време
- Приблизително 10–20 часа седмично по време на активните фази на проектите
- Работа по проекти за разработване на технологии и AI