Sciforium
Sciforium
Sciforium — компания, создающая инфраструктуру искусственного интеллекта и бессерверные инструменты для мультимодальных приложений, используемых в производственной среде. Единый API, совместимый с OpenAI, предоставляет командам доступ к сервисам для работы с текстом, изображениями, видео и аудио, а также к размещению моделей, библиотеке моделей, конвейерам оценки в реальном времени и управляемым развертываниям агентов. Sciforium использует вертикально интегрированную аппаратную инфраструктуру на базе графических процессоров AMD, помогая командам разрабатывать, оценивать и развертывать системы искусственного интеллекта с предсказуемой производительностью, более низкими затратами и повышенной конфиденциальностью.

Инженер данных для базовых моделей

Создавайте наборы данных петабайтного масштаба для предварительного и последующего обучения мультимодальных моделей ИИ Sciforium. Разрабатывайте высокопроизводительные конвейеры данных для обучения языковых, визуальных и видео-моделей.

Описание

  • Создавайте полные наборы данных для предварительного обучения больших языковых моделей.
  • Отбирайте и сбалансируйте данные из веба, кода, книг и технических публикаций, чтобы повысить качество моделей в последующих задачах.
  • Создавайте конвейеры для очистки, дедупликации и извлечения полезных сигналов из петабайтов неструктурированных данных.
  • Руководите разработкой наборов данных для последующего обучения, включая инструкции для контролируемой тонкой настройки, многоходовые диалоги и данные предпочтений RLHF/DPO.
  • Курируйте сбор и обработку визуальных данных и видео.
  • Пишите высокопроизводительные скрипты обработки данных на Python с использованием многопроцессности и многопоточности.
  • Статистически анализируйте обучающие корпуса, выявляя предвзятость, пробелы в знаниях и снижение качества.
  • Создавайте конвейеры синтетических данных, чтобы восполнять пробелы в естественно собранных наборах.
  • Решайте задачи мультимодального выравнивания, сжатия видео и временной согласованности.

Требования

  • Не менее пяти лет профессионального опыта в области науки о данных или машинного обучения.
  • Подтверждённый опыт создания наборов данных для базовых моделей и управления ими.
  • Продвинутые навыки Python, включая многопроцессность, многопоточность и эффективное управление памятью.
  • Опыт работы с наборами данных петабайтного масштаба для промышленных больших языковых или визуальных моделей.
  • Опыт создания с нуля крупных обучающих наборов для LLM на основе необработанных веб-сканирований и специализированных отраслевых данных.
  • Практический опыт создания наборов данных для RLHF, DPO и выполнения инструкций в многоходовых диалогах.
  • Опыт управления процессами разметки людьми и создания высококачественных эталонных наборов данных.
  • Уверенное владение Spark, Ray, WebDataset, Parquet или сопоставимыми инструментами и форматами для работы с большими данными.
  • Будет преимуществом опыт создания с нуля крупных наборов изображений или видео.
  • Будет преимуществом знакомство с мультимодальным сбором данных из веба, обработкой видео, кодеками и сжатием.
  • Будет преимуществом опыт разработки сложных схем разметки для тестов на рассуждение, программирование и математику.
  • Будет преимуществом степень магистра или доктора наук в количественной области с уклоном в ИИ, ориентированный на данные, или информационный поиск.
  • Право на работу в Соединённых Штатах.

Преимущества

  • Медицинское, стоматологическое страхование и страхование зрения.
  • Пенсионный план 401(k).
  • Ежедневные обеды, закуски и напитки.
  • Гибкий отпуск.
  • Конкурентная оплата труда.
  • Доля в капитале компании.

Похожие вакансии

Cardinal Health

Руководитель инженерии данных в Cardinal Health

Cardinal Health

Руководите командами корпоративной трансформации данных в Cardinal Health, отвечая за платформы Google Cloud, аналитику и операции AI/ML. Направляйте поставку решений, развитие платформ и профессиональный рост сотрудников.

Открыть
Verana Health

Ведущий/старший инженер-разработчик серверной части: платформа и прием данных

Verana Health

Создавайте и масштабируйте сервисы для приема клинических данных, OCR, OpenSearch и онкологической платформы Verana Health. Проектируйте API, ETL-процессы и микросервисы для получения практических выводов о здравоохранении на основе реальных данных.

Открыть
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Руководитель инженерной команды платформы данных

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1 000 Сотрудники
B2BСтрахованиеФинансы

Руководство корпоративной платформой данных страховой компании, инженерной командой и эксплуатацией решений на базе Azure, SQL, NoSQL и аналитики. В задачи входят надежность, автоматизация, соответствие требованиям и стратегия развития платформы.

Открыть
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Руководитель инженерной команды платформы данных

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1 000 Сотрудники
B2BСтрахованиеФинансы

Руководите командой инженеров платформы данных, обеспечивающей страховые операции Berkshire Hathaway Homestate Companies. В сферу ответственности входят базы данных и аналитические платформы, облачная инфраструктура, автоматизация, надежность и управление командой.

Открыть
Wealth.com

Ведущий инженер данных

Wealth.com

Руководите платформой данных Wealth.com на AWS, используя dbt, Redshift и Airflow. Создавайте надежные системы данных для платформы планирования наследства.

Открыть