Mindrift
Mindrift
Mindrift — це маркетплейс фахівців зі штучного інтелекту та SaaS-платформа, яка поєднує професійних учасників і експертів у різних предметних галузях із проєктами технологічних компаній у сфері навчання та оцінювання ШІ. Як частина Toloka, компанія співпрацює з авторами, редакторами, фахівцями із забезпечення якості, науковцями та іншими галузевими експертами, які допомагають створювати навчальні дані, оцінювати безпеку й здатність моделей до міркування, перевіряти якість медіаконтенту та розробляти реалістичні сценарії для покращення продуктивності й надійності ШІ. Mindrift залучає та перевіряє учасників за допомогою оцінювань і верифікації особи, а потім пропонує гнучкі оплачувані проєкти у сфері навчання та оцінювання ШІ.

Провідний інженер із вебскрейпінгу на Python — Сербія, віддалено, неповний робочий день

Провідний Python-інженер відповідатиме за створення надійних процесів вебскрейпінгу та обробки даних для проєкту Tendem AI компанії Mindrift. Роль зосереджена на вилученні, перевірці та масштабуванні структурованих наборів даних зі складних динамічних вебсайтів.

Опис

  • Керувати процесами вилучення даних на всіх етапах роботи зі складними вебсайтами, забезпечуючи повні, точні та надійні структуровані набори даних.
  • Використовувати доступні інструменти й адаптовані робочі процеси для пришвидшення збору та перевірки даних, а також виконання завдань відповідно до визначених вимог.
  • Надійно вилучати дані з динамічних та інтерактивних джерел, адаптуючись до контенту, що відображається за допомогою JavaScript, і змін у поведінці сайтів.
  • Підтримувати якість даних за допомогою перевірок, порівняння даних із різних джерел, контролю форматування та систематичної перевірки перед передаванням результату.
  • Масштабувати скрейпінг великих обсягів даних завдяки ефективній пакетній або паралельній обробці, відстежувати збої та зберігати стабільність за незначних змін сайтів.
  • Застосовувати експертизу у вебскрейпінгу, вилученні та обробці даних у проєкті Tendem.
  • Працювати з Apify, OpenRouter та іншими релевантними технологіями.

Вимоги

  • Щонайменше п’ять років релевантного досвіду в інженерії даних, вебскрейпінгу, автоматизації або розробці програмного забезпечення.
  • Ступінь бакалавра або магістра в галузі інженерії, прикладної математики, комп’ютерних наук або суміжної технічної дисципліни буде перевагою.
  • Ґрунтовний досвід вебскрейпінгу на Python із використанням BeautifulSoup, Selenium або подібних інструментів, зокрема JavaScript, AJAX, нескінченної прокрутки та доступу до API через проксі.
  • Уміння вилучати інформацію зі складних структур, як-от ієрархії, архівні сторінки та HTML із непослідовною структурою.
  • Ґрунтовний практичний досвід очищення, нормалізації та перевірки даних для передавання у структурованих форматах, зокрема CSV, JSON і Google Таблицях.
  • Практичний досвід роботи із захистом від ботів і змінною структурою сайтів у масштабі.
  • Досвід використання AWS або еквівалентної хмарної інфраструктури та Docker у робочих або проєктних процесах.
  • Практичний досвід застосування фреймворків LLM, таких як LangChain, OpenRouter або подібних інструментів, для завдань автоматизації.
  • Висока уважність до деталей і сильна орієнтація на точність даних.
  • Самостійний підхід до роботи та здатність незалежно усувати проблеми.
  • Потрібне знання англійської мови на рівні Upper-Intermediate, B2 або вище.
  • Наявність профілю на GitHub буде перевагою.

Переваги

  • Фрилансова співпраця.
  • Віддалена робота з неповною зайнятістю.
  • Орієнтовно 10–20 годин на тиждень під час активних етапів проєкту.

Схожі вакансії

ALTEN

Провідний архітектор ІТ-інфраструктури

ALTEN

Розвивайте, модернізуйте та захищайте гібридну інфраструктуру клієнтів ALTEN у сфері інженерного консалтингу й технологій. Керуйте ініціативами у сферах центрів обробки даних, хмарних платформ, автоматизації та безперервності бізнесу.

Відкрити
CrowdStrike

Старший інженер з хмарної автентифікації

CrowdStrike

Створюйте серверні служби автентифікації й авторизації для глобальної платформи кібербезпеки CrowdStrike. Масштабуйте розподілені хмарні системи, що щодня обробляють трильйони рішень щодо авторизації.

Відкрити
A&O IT Group

Архітектор комерційних рішень, Індія (віддалено)

A&O IT Group

Керуйте складними тендерами, ціноутворенням, взаємодією з постачальниками та підтримкою договорів для глобальних послуг A&O IT Group у сфері керованих ІТ-послуг і кібербезпеки. Співпрацюйте з відділами продажів та операційної діяльності, щоб формувати комерційно доцільні рішення й супроводжувати можливості від першого контакту до підписання договору.

Відкрити
Red Hat

Архітектор хмарних рішень, ШІ та OpenShift — Red Hat

Red Hat

Проєктуйте й упроваджуйте для клієнтів у Ер-Ріяді хмарні рішення Red Hat, OpenShift, ШІ та MLOps. Проводьте архітектурні семінари, розгортання й консультаційні проєкти, забезпечуючи надійне та масштабоване надання послуг.

Відкрити
CrowdStrike

Старший інженер Cloud Core API

CrowdStrike

Розробляйте серверні API та розподілені хмарні системи для платформи кібербезпеки CrowdStrike. Допомагайте виявляти цільові атаки й автоматизувати збір кіберрозвідувальних даних у глобальному масштабі.

Відкрити
Avanade

Інженер хмарних рішень L2, керовані послуги

Avanade

Надавайте підтримку другої лінії для Azure, віртуальних робочих столів і гібридної інфраструктури корпоративних клієнтів Avanade. Діагностуйте інциденти, автоматизуйте операції та допомагайте оптимізувати хмарні сервіси.

Відкрити
Adfinis

Старший інженер хмарних систем

Adfinis

Старша інженерна посада в Adfinis, постачальника ІТ-послуг із відкритим кодом, із фокусом на хмарно-нативну інфраструктуру. Керування клієнтськими проєктами з використанням Kubernetes, автоматизації та CI/CD.

Відкрити
Chainlink Labs

Старший інженер із надійності сайтів, інфраструктура даних

Chainlink Labs

Керуйте надійністю потокових сервісів, Kubernetes і платформ даних Chainlink Labs для блокчейн-оракулів. Підвищуйте доступність, масштабованість, автоматизацію й ефективність експлуатації.

Відкрити
Chainlink Labs

Інженер із надійності сайтів, підключення до блокчейнів

Chainlink Labs

Експлуатація Kubernetes, хмарної інфраструктури, Go та блокчейн-систем для підтримки децентралізованої оракульної платформи Chainlink. Підвищення надійності сервісів і систем у робочому середовищі.

Відкрити
HFM

Старший архітектор інфраструктури торговельних платформ у HFM

HFM
501 – 1 000 Працівники
ФінансиФінтех

Формуйте інфраструктуру HFM для MT4 і MT5: від архітектури та розміщення в AWS до відмовостійкості й процесів випуску змін. Керуйте модернізацією платформи, впровадженням Kubernetes і роботою команди адміністрування.

Відкрити