Mindrift е платформа за таланти и SaaS платформа в областта на изкуствения интелект, която свързва професионални сътрудници и експерти по конкретни области с проекти на технологични компании за обучение и оценяване на изкуствен интелект. Като част от Toloka тя работи с писатели, редактори, специалисти по осигуряване на качеството, учени и други експерти, които помагат за създаването на обучаващи данни, оценяването на безопасността и способността за разсъждение на моделите, проверката на качеството на медийното съдържание и създаването на сценарии от реалния свят за подобряване на производителността и надеждността на изкуствения интелект. Mindrift набира и проверява сътрудници чрез оценки и проверка на самоличността, след което предлага гъвкави платени проектни възможности в областта на обучението и оценяването на изкуствен интелект.
Старши Python инженер за извличане на данни от уебсайтове в Мексико (дистанционно)
Изграждайте и мащабирайте надеждни работни процеси за извличане на данни от уебсайтове за AI платформата на Mindrift. Извличайте, проверявайте и доставяйте структурирани данни от сложни и динамични уебсайтове.
Описание
- Управлявайте работните процеси за извличане от край до край в сложни уебсайтове, като доставяте пълни, точни и надеждни структурирани набори от данни.
- Използвайте налични инструменти и персонализирани работни процеси, за да ускорите събирането, проверката и изпълнението на задачи според определените изисквания.
- Извличайте надеждно данни от динамични и интерактивни източници, като се адаптирате към съдържание, визуализирано чрез JavaScript, и към променящото се поведение на сайтовете.
- Поддържайте качеството на данните чрез проверки за валидност, прегледи на съгласуваността между източници, изисквания за форматиране и системна проверка преди доставяне.
- Мащабирайте извличането на големи обеми чрез ефективно пакетиране и паралелна обработка.
- Проследявайте неуспешните извличания и поддържайте оперативната стабилност при незначителни промени в структурата на сайтовете.
- Работете с агентите Tendem, които изпълняват повтарящи се задачи в хибридния оперативен модел на Mindrift, съчетаващ AI и човешка работа.
- Прилагайте инструменти, включително Apify, OpenRouter и други технологии, заедно с технически експертни знания и адаптирани методи.
- Използвайте експертния си опит в извличането на данни от уебсайтове, извличането и обработката на данни, за да създавате точни, надеждни и висококачествени резултати.
Изисквания
- Изискват се поне пет години релевантен опит в инженеринг на данни, извличане на данни от уебсайтове, автоматизация или разработка на софтуер.
- Бакалавърска или магистърска степен по инженерство, приложна математика, компютърни науки или сродна техническа дисциплина е предимство.
- Необходим е сериозен опит с извличане на данни чрез Python и BeautifulSoup, Selenium или сравними инструменти, включително JavaScript, AJAX, безкрайно превъртане и API чрез прокси.
- Способност за извличане на информация от сложни структури, като йерархии, архивирани страници и непоследователен HTML.
- Практически опит с почистване, нормализиране и валидиране на данни за структурирано доставяне във формати CSV, JSON или Google Sheets.
- Опит с управлението на мерки срещу ботове и променящи се структури на уебсайтове в голям мащаб.
- Практически опит с AWS или сравнима облачна инфраструктура и Docker в производствени работни процеси.
- Опит с прилагането на LLM рамки като LangChain или OpenRouter за задачи по автоматизация.
- Изключително внимание към детайлите и постоянен фокус върху точността на данните.
- Способност за самостоятелна работа, проучване на проблеми и ефективно отстраняване на неизправности.
- Изисква се владеене на английски език на ниво B2 или по-високо.
- Линк към профил в GitHub е предимство.
Придобивки
- Работа на свободна практика.
- Дистанционна работа на непълен работен ден.
- Очаквани 10–20 часа седмично по време на активните фази на проекта.