Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уеб — работа на свободна практика, дистанционно от Полша
Mindrift търси старши Python инженер за изграждане на надеждни работни процеси за извличане на данни от уеб за проекти с изкуствен интелект. Ролята е насочена към извличане, валидиране и обработка на структурирани данни от сложни и динамични уебсайтове.
Описание
- Управляване на цялостни работни процеси за извличане на данни от сложни уебсайтове
- Предоставяне на изчерпателни, точни и надеждни структурирани набори от данни
- Прилагане на инструменти и специално пригодени работни процеси за ускоряване на събирането, валидирането и изпълнението на задачи
- Надеждно извличане на данни от интерактивни и динамични уеб източници
- Адаптиране на методите за scraping към съдържание, визуализирано с JavaScript, и променящото се поведение на сайтовете
- Поддържане на качеството на данните чрез валидиране, проверки между източници, стандарти за форматиране и систематичен преглед
- Обработване на scraping в голям мащаб чрез ефективна пакетна и паралелна обработка
- Проследяване на неуспешните извличания и запазване на стабилността при малки промени в структурата на уебсайтовете
- Прилагане на Apify, OpenRouter и свързани технологии за извличане на данни от уеб и обработка на данни
Изисквания
- Над 5 години релевантен опит в инженеринг на данни, web scraping, автоматизация или разработка на софтуер
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сходна техническа дисциплина е предимство
- Силна практическа основа в скриптирането, автоматизацията и работните процеси за извличане на данни
- Напреднал опит с Python scraping чрез BeautifulSoup, Selenium или сравними инструменти, JavaScript и AJAX съдържание, безкрайно превъртане и API, базирани на прокси сървъри
- Способност за извличане на информация от сложни йерархии, архивирани страници и непоследователен HTML
- Опит в почистването, нормализирането и валидирането на данни за предоставяне във формати CSV, JSON и Google Sheets
- Опит с антибот системи и променящи се структури на уебсайтове в голям мащаб
- Практически опит с AWS или еквивалентна облачна инфраструктура и Docker в производствени работни процеси
- Практическо използване на LangChain, OpenRouter или сходни LLM рамки за автоматизация
- Силно внимание към детайлите и изразен фокус върху точността на данните
- Самостоятелен стил на работа със способност за проучване и решаване на проблеми без непосредствен надзор
- Английски език на ниво над средното (B2) или по-високо
- Профил в GitHub е предимство
Придобивки
- Ангажимент по проект на свободна практика
- Работно натоварване на непълно работно време от приблизително 10 до 20 часа седмично по време на активните фази на проекта
- Дистанционна работа от Полша
- Възнаграждение до равностойността на 40 щатски долара на час в зависимост от нивото на опит и темпото на приноса