Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за уеб скрейпинг — дистанционна работа от Саудитска Арабия
Старши Python инженер, който разработва надеждни работни процеси за уеб скрейпинг и обработка на данни за проекта Tendem AI на Mindrift. Ролята е насочена към извличане, валидиране и мащабиране на структурирани набори от данни от сложни уебсайтове.
Описание
- Ръководене на цялостни работни процеси за извличане на данни от сложни уебсайтове
- Поддържане на пълно покритие, точни резултати и надеждно предоставяне на структурирани набори от данни
- Използване на налични инструменти и специално разработени работни процеси за ускоряване на събирането на данни, валидирането и изпълнението на задачи
- Последователно извличане на данни от динамични и интерактивни уеб източници
- Адаптиране на методите за извличане към съдържание, визуализирано с JavaScript, и променящото се поведение на уебсайтовете
- Защита на качеството на данните чрез проверки за валидиране, сравнения между източници, правила за форматиране и систематична проверка
- Мащабиране на скрейпинга на големи обеми чрез ефективна пакетна или паралелна обработка
- Проследяване на повреди и запазване на стабилността на работните процеси при малки промени в структурата на сайтовете
- Използване на Apify, OpenRouter и свързани технологии в работни процеси за уеб извличане и обработка на данни
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, уеб скрейпинг, автоматизация или разработка на софтуер
- Предпочита се бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или свързана техническа дисциплина
- Напреднал опит с Python за уеб скрейпинг, включително BeautifulSoup, Selenium или сравними инструменти, динамично съдържание и API, базирани на прокси сървъри
- Способност за извличане на информация от сложни структури като йерархии, архивирани страници и непоследователен HTML
- Опит с почистване, нормализиране и валидиране на данни за предоставяне във формати CSV, JSON или Google Sheets
- Практически опит с преодоляване на системи против ботове и променящи се структури на сайтове в голям мащаб
- Опит с AWS или сравнима облачна инфраструктура
- Опит с пакетиране на приложения чрез Docker
- Практическо използване на LangChain, OpenRouter или подобни LLM рамки за задачи по автоматизация
- Силно внимание към детайлите и постоянен фокус върху точността на данните
- Способност за самостоятелна работа, самостоятелно организиране на задачите и отстраняване на проблеми
- Английски език на ниво над средното (B2) или по-високо
- Профил в GitHub е предимство
Придобивки
- Ангажимент на непълно работно време на свободна практика
- Приблизително 10–20 часа седмично по време на активните фази на проекта
- Еквивалентно до 37 USD на час в зависимост от нивото на приноса и темпото на работа
- Гъвкаво проектно работно натоварване, като възнаграждението варира според обхвата, сложността и необходимата експертиза
- Възможност за подкрепа на проекти за развитие на технологии и изкуствен интелект