Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг (на свободна практика, дистанционно)
Създавайте и мащабирайте надеждни работни процеси за уеб скрейпинг с Python за проектите на Mindrift в областта на изкуствения интелект. Извличайте, валидирайте и предоставяйте точни структурирани данни от сложни динамични уебсайтове.
Описание
- Изпълнявайте технически прецизни задачи за уеб скрейпинг и обработка на данни
- Управлявайте цялостни работни процеси за извличане от сложни уебсайтове и предоставяйте изчерпателни, точни и надеждни структурирани набори от данни
- Използвайте наличните инструменти и персонализирани работни процеси за ускоряване на събирането, валидирането и изпълнението на задачите според определените изисквания
- Адаптирайте методите за извличане към страници, визуализирани с JavaScript, интерактивни източници и променящо се поведение на уебсайтовете
- Прилагайте контрол на качеството на данните, включително валидиране, проверки между източници, стандарти за форматиране и системна проверка преди предаване
- Мащабирайте скрейпинга на големи обеми данни чрез ефективна пакетна или паралелна обработка
- Проследявайте неуспешните извличания и поддържайте оперативната стабилност при малки промени в структурата на сайтовете
- Използвайте Apify, OpenRouter и други подходящи технологии в подкрепа на операциите по скрейпинг
Изисквания
- Поне 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Демонстрирайте силни умения за скрейпинг с Python, включително BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API с прокси сървъри
- Извличайте информация от сложни структури, включително йерархии, архивирани страници и неструктуриран HTML
- Почиствайте, нормализирайте и валидирайте данни за предоставяне във формати CSV, JSON или Google Sheets
- Работете със защити срещу ботове и променящи се структури на сайтове в голям мащаб
- Работете с AWS или сравнима облачна инфраструктура и контейнеризация, базирана на Docker
- Прилагайте LLM рамки като LangChain, OpenRouter или сходни инструменти в работни процеси за автоматизация
- Изключително внимание към детайлите и точността на данните
- Работете самостоятелно и подхождайте инициативно към отстраняването на проблеми
- Комуникирайте на английски език на ниво над средното (B2) или по-високо
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина е предимство
- Връзка към профил в GitHub е предимство
Придобивки
- Ангажимент на свободна практика
- Дистанционен график на непълно работно време
- Приблизително 10–20 часа седмично по време на активните фази на проекта
- Възможност за принос към иновативни технологични проекти чрез платформата Mindrift