Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг — Сърбия, дистанционна работа, непълно работно време
Старшият Python инженер отговаря за изграждането на надеждни работни процеси за уеб скрейпинг и обработка на данни за проекта Tendem AI на Mindrift. Ролята е насочена към извличане, валидиране и мащабиране на структурирани набори от данни от сложни динамични уебсайтове.
Описание
- Управлявайте цялостни работни процеси за извличане на данни от сложни уебсайтове и предоставяйте пълни, точни и надеждни структурирани набори от данни.
- Използвайте налични инструменти и специално адаптирани работни процеси, за да ускорите събирането, валидирането и изпълнението на задачи според определените изисквания.
- Извличайте надеждно данни от динамични и интерактивни източници, като се адаптирате към съдържание, визуализирано чрез JavaScript, и към променящото се поведение на сайтовете.
- Поддържайте качеството на данните чрез проверки за валидност, сравнения между източници, контрол на форматирането и системна проверка преди предаване.
- Мащабирайте скрейпинга на големи обеми данни чрез ефективна пакетна или паралелна обработка, следете за грешки и запазвайте стабилността при малки промени в сайтовете.
- Прилагайте експертни познания в областта на уеб скрейпинга, извличането и обработката на данни в проекта Tendem.
- Работете с Apify, OpenRouter и други подходящи технологии.
Изисквания
- Пет или повече години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер.
- Предимство е бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина.
- Силен опит с уеб скрейпинг на Python и BeautifulSoup, Selenium или сходни инструменти, включително JavaScript, AJAX, безкрайно превъртане и достъп до API чрез прокси.
- Способност за извличане на информация от сложни структури като йерархии, архивирани страници и непоследователен HTML.
- Солиден опит с почистване, нормализиране и валидиране на данни за предоставяне в структурирани формати, включително CSV, JSON и Google Sheets.
- Практически опит с управлението на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб.
- Опит с AWS или еквивалентна облачна инфраструктура и Docker в производствени или проектни работни процеси.
- Практически опит с прилагането на LLM рамки като LangChain, OpenRouter или сходни инструменти в задачи за автоматизация.
- Високо внимание към детайлите и силен ангажимент към точността на данните.
- Самостоятелен подход и способност за независимо отстраняване на проблеми.
- Изисква се английски език на ниво B2 или по-високо.
- Профил в GitHub е предимство.
Придобивки
- Фрийланс ангажимент.
- Дистанционна работа на непълно работно време.
- Очаквани 10–20 часа седмично по време на активните фази на проекта.