Thermo Fisher Scientific разрабатывает и поставляет научные приборы, реагенты, расходные материалы и программные сервисы для организаций, работающих в сфере наук о жизни, здравоохранения и аналитической химии. Портфолио компании поддерживает лабораторные исследования и производство и включает решения для диагностики, автоматизации лабораторных процессов и разработки лекарственных препаратов. Продукты и услуги компании помогают исследовательским и медицинским командам управлять сложными лабораторными процессами и развивать научные разработки.
Стажёр-исследователь по физическому ИИ (удалённо, США)
Исследуйте и разрабатывайте системы физического ИИ, охватывающие компьютерное зрение, визуально-языковые модели, 3D-восприятие и робототехнику. Превращайте экспериментальные разработки в воспроизводимый код, готовые к развёртыванию сервисы, отчёты об оценке и демонстрационные решения.
Описание
- Разрабатывать и дообучать модели для обнаружения, отслеживания, сегментации, распознавания поз и активности, а также понимания сцен
- Обучать и оценивать визуально-языковые модели для заземления, создания подробных описаний, ответов на временные вопросы и использования инструментов
- Создавать рабочие процессы с дополнением посредством поиска и на основе агентов для восприятия и действий
- Создавать прототипы политик управления на основе восприятия с использованием симулированных данных и данных из реального мира
- Подключать системы восприятия к планировщикам и графам задач для приложений в области манипуляций, навигации и безопасности
- Подготавливать наборы данных, определять методы оценки и ключевые показатели эффективности, а также проводить абляционные исследования
- Развёртывать исследовательские системы в виде надёжных сервисов с использованием Kubernetes, Docker, Ray и FastAPI
- Реализовывать профилирование, телеметрию и непрерывную интеграцию для поддержки воспроизводимых исследований
- Координировать конвейеры с несколькими агентами в областях восприятия, рассуждений, симуляции и генерации кода
- Исследовать понимание видео, привязку 3D-сцен, периферийный инференс, мультимодальную оценку и эффективность политик sim-to-real
- Создавать исследования, пригодные для публикации или открытого исходного кода, готовые к использованию в производстве компоненты, воспроизводимые реализации, отчёты об оценке и демонстрационные решения
Требования
- Обучаться в магистратуре или докторантуре по информатике, электротехнике, робототехнике или смежной специальности и иметь действующие публикации по компьютерному зрению, машинному обучению или робототехнике
- Продвинутые навыки работы с Python и PyTorch или JAX, включая знакомство с профилированием CUDA и обучением со смешанной точностью
- Опыт исследований в области компьютерного зрения, а также хотя бы в одной из областей: визуально-языковые модели, воплощённый или физический ИИ, 3D-восприятие
- Умение переходить от опубликованных исследований к реализации, абляционным исследованиям и строгому отслеживанию результатов
- Опыт работы с видеомоделями, диффузионными моделями, 3D Gaussian Splatting или NeRF, SLAM либо реконструкцией сцен
- Предыдущий опыт работы с мультимодальным заземлением или временным рассуждением
- Знакомство с ROS2, DeepStream или TAO либо с оптимизацией инференса на периферийных устройствах с использованием TensorRT или ONNX
- Опыт масштабируемого обучения с использованием Ray, распределённых загрузчиков данных или шардированных контрольных точек
- Высокие стандарты разработки программного обеспечения, включая тестирование, линтинг, профилирование, контейнеризацию и воспроизводимость
- Публичные технические работы, например проекты на GitHub, публикации с первым авторством или существенный вклад в проекты с открытым исходным кодом