Mindrift
Mindrift
Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.

Старший інженер із вебскрейпінгу на Python — віддалена робота в Японії

Створюйте надійні процеси вебскрейпінгу на Python для проєкту Tendem AI компанії Mindrift. Видобувайте, перевіряйте та масштабуйте структуровані набори даних зі складних динамічних вебсайтів.

Опис

  • Керувати повним циклом видобування даних зі складних вебсайтів
  • Надавати повні, точні та надійні структуровані набори даних
  • Використовувати доступні інструменти й власні робочі процеси для прискорення збору, перевірки та виконання завдань
  • Видобувати дані з динамічних та інтерактивних джерел, зокрема контент, відрендерений JavaScript
  • Адаптувати методи скрейпінгу в міру зміни поведінки вебсайтів
  • Підтримувати якість даних за допомогою перевірки, зіставлення між джерелами, стандартів форматування та систематичної верифікації
  • Масштабувати скрейпінг великих обсягів за допомогою ефективної пакетної або паралельної обробки
  • Відстежувати збої та зберігати стабільність за незначних змін структури сайтів
  • Застосовувати Apify, OpenRouter та інші технології для видобування й обробки вебданих

Вимоги

  • Щонайменше 5 років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення
  • Ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або іншій спорідненій технічній галузі буде перевагою
  • Ґрунтовний досвід скрейпінгу на Python із BeautifulSoup, Selenium або подібними інструментами, роботи з динамічним контентом, таким як JavaScript, AJAX і нескінченне прокручування, а також з API через проксі
  • Здатність видобувати дані зі складних структур, зокрема ієрархій, архівних сторінок і непослідовного HTML
  • Ґрунтовні знання очищення, нормалізації та валідації даних, а також досвід підготовки наборів даних у форматах CSV, JSON або Google Sheets
  • Досвід роботи з механізмами захисту від ботів і динамічними структурами сайтів у великих масштабах
  • Досвід роботи з AWS або еквівалентною хмарною інфраструктурою
  • Досвід використання Docker для контейнеризації
  • Практичний досвід роботи з фреймворками LLM, такими як LangChain, OpenRouter або подібними інструментами автоматизації
  • Уважність до деталей і прагнення до точності даних
  • Самостійний підхід і здатність незалежно усувати несправності
  • Англійська на рівні вище середнього (B2) або вище
  • Посилання на GitHub буде перевагою

Переваги

  • Можливість працювати як фрилансер
  • Неповна зайнятість: орієнтовно 10–20 годин на тиждень в активні періоди
  • Віддалена робота
  • Можливість долучитися до інноваційних проєктів у сфері технологій і розвитку ШІ

Схожі вакансії

Hewlett Packard Enterprise

Старший технічний архітектор із передпродажної підтримки каналу, Канада

Hewlett Packard Enterprise

Допомагайте партнерам каналу проєктувати й продавати рішення HPE для зберігання даних і захисту інформації. Розвивайте технічну підтримку рішень, розширюйте воронку можливостей і долучайтеся до взаємодії із замовниками.

Відкрити
Hewlett Packard Enterprise

Старший технічний архітектор із передпродажної підтримки каналів продажу, системи зберігання даних — HPE Canada, віддалено

Hewlett Packard Enterprise

Допомагайте партнерам HPE позиціонувати, проєктувати й продавати рішення для зберігання даних і захисту інформації. Підтримуйте розробку архітектури, демонстрації, перевірки концепції, розвиток воронки продажу й технічну підтримку партнерів.

Відкрити
Hewlett Packard Enterprise

Технічний архітектор із передпродажної підтримки каналу, Канада

Hewlett Packard Enterprise

Допомагайте партнерам HPE у каналі позиціонувати, проєктувати й упроваджувати рішення для зберігання даних і захисту інформації. Розвивайте технічні компетенції партнерів, формуйте воронку можливостей і допомагайте здобувати конкурентні перемоги.

Відкрити
Xero

Аналітик даних клієнтського досвіду

Xero
1 001 – 5 000 Працівники
Спонсор візи H1BB2BSaaS

Готуйте звітність і аналітику щодо персоналу для команд клієнтського досвіду та платіжних операцій Xero. Використовуйте Tableau і Zendesk Explore для бізнес-оглядів, планування чисельності та підтримки рішень керівництва.

Відкрити
Hewlett Packard Enterprise

Старший інженер мережевих хмарних операцій (допуск Secret)

Hewlett Packard Enterprise

Підтримуйте захищені приватні хмарні мережі та мережі центрів обробки даних HPE для федеральних замовників. Діагностуйте проблеми в секретній інфраструктурі та VMware NSX в Оклахомі, Пенсильванії та Юті.

Відкрити
General Dynamics Information Technology

Старший інженер хмарних даних Azure

General Dynamics Information Technology

Модернізуйте клінічні записи Індійської служби охорони здоров’я, створюючи конвеєри даних Azure та масштабовані моделі медичних даних. Розробляйте ETL-процеси й перетворення PySpark для корпоративних медичних даних.

Відкрити
Hewlett Packard Enterprise

Старший інженер мережевих операцій хмарної інфраструктури (допуск Secret)

Hewlett Packard Enterprise

Експлуатація та захист приватних хмарних мереж Hewlett Packard Enterprise для федеральних замовників. Діагностика засекреченої інфраструктури, VMware NSX, змін у ServiceNow і критично важливих з’єднань.

Відкрити
Sanofi

Старший HR-бізнес-партнер із виробництва у Великому Китаї

Sanofi

Консультуйте керівників виробництва й ланцюга постачання Sanofi у Великому Китаї зі стратегії управління персоналом. Керуйте плануванням персоналу, організаційними змінами, ініціативами з розвитку талантів і дотриманням вимог на кількох майданчиках.

Відкрити
Taste Labs

Асоційований фахівець із добору персоналу в Taste Labs, Сан-Франциско (гібридний формат)

Taste Labs

Шукайте кандидатів і координуйте найм інженерів, дослідників, дизайнерів і фахівців з операційної діяльності у стартапі Taste Labs, що розробляє інфраструктуру для ШІ. Співпрацюйте з керівником із добору персоналу та People Operations, щоб покращувати процеси найму й досвід кандидатів.

Відкрити
Neko Health

Рекрутер бізнес-напрямів, Neko Health

Neko Health
501 – 1 000 Працівники
B2CДобробутОхорона здоров'я

Добирайте фахівців для адміністративних і бізнес-функцій, допомагаючи Neko Health розвивати профілактичну медицину на основі даних. Співпрацюйте з керівниками у США та Європі, формуючи команди для зростання компанії.

Відкрити