Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уебсайтове — дистанционна работа на свободна практика в Румъния
Mindrift търси старши Python инженер за изграждане на надеждни работни процеси за уеб скрапинг и извличане на данни за проекти с изкуствен интелект. Ролята е насочена към преобразуване на динамични уебсайтове в точни, валидирани и структурирани набори от данни.
Описание
- Управлява цялостни работни процеси за извличане на данни от сложни уебсайтове
- Предоставя изчерпателни, точни и надеждни структурирани набори от данни
- Използва налични инструменти и адаптирани работни процеси за ускоряване на събирането на данни, валидирането и изпълнението на задачите
- Извлича надеждно данни от динамични и интерактивни уебсайтове, като се адаптира към съдържание, визуализирано чрез JavaScript, и към променящото се поведение на сайтовете
- Поддържа качеството на данните чрез валидиране, кръстосани проверки между източници, изисквания за форматиране и систематични прегледи
- Мащабира скрапирането на големи обеми чрез ефективна пакетна или паралелна обработка
- Проследява неуспешните извличания и запазва стабилността на работните процеси при малки промени в структурата на сайтовете
- Използва Apify, OpenRouter и свързани технологии в работни процеси за извличане на данни от уебсайтове и обработка на данни
Изисквания
- Изискват се поне 5 години релевантен опит в инженеринг на данни, уеб скрапинг, автоматизация или разработка на софтуер
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или друга свързана техническа дисциплина е предимство
- Силни технически основи с практически опит в скриптирането, автоматизацията и работните процеси за извличане на данни
- Напреднал опит с Python скрапинг чрез BeautifulSoup, Selenium или сравними инструменти, съдържание на JavaScript/AJAX, безкрайно превъртане и API, базирани на прокси сървъри
- Способност за извличане на информация от сложни източници, включително йерархии, архивирани страници и непоследователен HTML
- Силни умения за почистване, нормализиране и валидиране на данни, с опит в създаването на набори от данни във формати CSV, JSON или Google Sheets
- Доказан опит в справянето със системи против ботове и променящи се структури на уебсайтове в голям мащаб
- Практически опит с AWS или сравнима облачна инфраструктура и контейнеризация с Docker
- Практическо използване на LangChain, OpenRouter или сходни LLM рамки за задачи по автоматизация
- Прецизен подход към детайлите и точността на данните
- Способност за самостоятелна работа, проучване на проблеми и разрешаването им без близък надзор
- Изисква се владеене на английски език на ниво над средното (B2) или по-високо
Придобивки
- Ангажимент на свободна практика
- Заетост на непълно работно време от приблизително 10–20 часа седмично през активните периоди на проекта
- Дистанционна работа
- Възнаграждение до равностойността на 40 щатски долара на час в зависимост от нивото на опит и темпото на приноса