Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши инженер на Python за уеб скрейпинг (на свободна практика, дистанционно в Швеция)
Mindrift търси старши Python инженер за изграждане на надеждни работни процеси за скрейпинг за проекти в областта на изкуствения интелект. Ролята е насочена към извличане, валидиране и мащабиране на структурирани данни от сложни и динамични уебсайтове.
Описание
- Ръководене на цялостни работни процеси за извличане на данни от сложни уебсайтове
- Предоставяне на изчерпателни, точни и надеждни структурирани набори от данни
- Прилагане на налични инструменти и специално съобразени работни процеси за ускоряване на събирането и валидирането на данни и изпълнението на задачите
- Събиране на данни от динамични и интерактивни уебсайтове и адаптиране към съдържание, визуализирано чрез JavaScript, и променящо се поведение на сайтовете
- Защита на качеството на данните чрез проверки за валидност, сравнения между източници, стандарти за форматиране и систематична проверка
- Мащабиране на скрейпинга на големи обеми чрез ефективна пакетна и паралелна обработка
- Проследяване на неуспешните извличания и запазване на стабилността на системата при малки промени в структурата на уебсайтовете
- Използване на Apify, OpenRouter и други подходящи технологии в съчетание със силна техническа преценка
Изисквания
- Най-малко пет години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Задълбочен опит със скрейпинг на Python чрез BeautifulSoup, Selenium или сравними инструменти, с динамично съдържание като JavaScript, AJAX и безкрайно превъртане, както и с API, базирани на прокси сървъри
- Способност за извличане на информация от сложни структури, включително йерархии, архивирани страници и непоследователен HTML
- Опит с почистване, нормализиране и валидиране на данни за структурирани изходи във формати CSV, JSON или Google Sheets
- Практически опит с управлението на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура и Docker контейнери в производствени работни процеси
- Практически опит с прилагането на LLM рамки като LangChain, OpenRouter или подобни инструменти за автоматизация
- Силно внимание към детайлите и постоянен фокус върху точността на данните
- Самостоятелен и проактивен подход към отстраняването на проблеми и решаването на задачи
- Английски език на горно средно ниво (B2) или по-високо
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сходна техническа дисциплина е предимство
- Профил в GitHub е предимство
Придобивки
- Работа на свободна практика
- Дистанционна работа на непълно работно време
- Очаквани 10 до 20 часа седмично по време на активните фази на проекта