Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг — дистанционна работа от Румъния
Старши Python инженер, отговорен за изграждането на надеждни работни процеси за уеб скрейпинг и обработка на данни за проекта Tendem AI на Mindrift. Ролята е насочена към извличане, валидиране и мащабиране на структурирани набори от данни от сложни уебсайтове.
Описание
- Управлява пълни работни процеси за извличане на данни от сложни уебсайтове, като поддържа широко покритие, точност и надеждно предоставяне на структурирани набори от данни.
- Използва наличните инструменти и съобразени работни процеси за ускоряване на събирането, валидирането и изпълнението на задачи в съответствие с изискванията на проекта.
- Извлича надеждно данни от динамични и интерактивни уебсайтове, като се адаптира към съдържание, визуализирано чрез JavaScript, и към променящото се поведение на сайтовете.
- Поддържа стандартите за качество на данните чрез валидиране, проверки за съгласуваност между източници, контрол на форматирането и системна проверка преди предоставяне.
- Мащабира скрейпинга на големи обеми данни чрез ефективна пакетна или паралелна обработка, проучва грешките и запазва стабилността при малки промени в структурата на сайтовете.
- Прилага експертни познания в уеб скрейпинг, извличане и обработка на данни в проекта Tendem.
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер.
- Напреднал опит със скрейпинг на Python с BeautifulSoup, Selenium или сравними инструменти, включително JavaScript, AJAX, безкрайно превъртане и API, базирани на прокси.
- Способност за извличане на информация от сложни структури като йерархии, архивирани страници и непоследователен HTML.
- Силен опит в почистване, нормализиране и валидиране на данни за структурирани изходи, включително CSV, JSON и Google Sheets.
- Практически опит в управлението на защити срещу ботове и променящи се структури на уебсайтове в голям мащаб.
- Опит с AWS или еквивалентна облачна инфраструктура и контейнеризация с Docker в производствени работни процеси.
- Практически опит с прилагането на LLM рамки като LangChain или OpenRouter в задачи за автоматизация.
- Изключително внимание към детайлите и постоянен фокус върху точността на данните.
- Способност за самостоятелна работа, отстраняване на проблеми и довеждане на задачите до решение.
- Английски език на ниво B2 или по-високо.
- Профил в GitHub е предимство.
Придобивки
- Ангажимент на свободна практика.
- Работа на непълно работно време.
- Дистанционна работа от Румъния.
- Приблизително 10–20 часа седмично по време на активните фази на проекта.
- Възнаграждение до еквивалента на 40 щатски долара на час.