Pinterest — это визуальная платформа для поиска идей, где люди находят вдохновение, сохраняют идеи и организуют их по интересам, проектам и покупкам. Платформа объединяет персонализированные рекомендации и визуальный поиск по таким темам, как дизайн интерьера, мода, рецепты и мероприятия, а также помогает авторам и розничным продавцам находить аудиторию с помощью инструментов для электронной торговли и рекламы.
Старший штатный инженер-программист, платформа ИИ — гибридный формат, Пало-Альто
Руководите стратегией, архитектурой и внедрением платформы Pinterest для оценки ИИ и машинного обучения. Помогайте формировать надежные практики оценки генеративных ИИ-продуктов по всей компании.
Описание
- Выявляйте возможности модернизации и расширяйте дорожную карту общекорпоративной системы оценки, обеспечивая техническое лидерство
- Определяйте техническое направление для разных функций, координируйте команды-партнеры и повышайте внедрение общих возможностей оценки
- Принимайте долгосрочные архитектурные решения, укрепляющие пользовательский опыт и надежность платформы Pinterest для оценки ИИ и машинного обучения
- Разрабатывайте методы и стандарты оценки, объединяющие автоматизированные метрики, экспертную проверку, отзывы пользователей, безопасность и бизнес-результаты
- Руководите сложными инициативами между командами, управляйте техническими компромиссами и рисками и обеспечивайте измеримое влияние
- Развивайте платформу Pinterest для оценки ИИ и машинного обучения в единую надежную систему, используемую по всей компании
- Работайте с командами разработки, исследований, продукта и безопасности, чтобы повышать качество, улучшать решения о запуске и укреплять уверенность в продуктах на основе ИИ
Требования
- Не менее 3 лет практического опыта проектирования и эксплуатации систем оценки для генеративного ИИ и сложных систем машинного обучения
- Опыт создания бенчмарков и эталонных наборов данных, применения автоматизированных метрик и оценки людьми, использования оценки на основе моделей и анализа сбоев
- Уверенное владение Python
- Знание принципов распределенных систем на рабочем уровне
- Умение эффективно итерационно работать с инструментами ИИ при написании кода и проектировании систем
- Глубокое знание библиотек и фреймворков для оценки генеративного ИИ и рекомендательных систем, включая AutoEvals, OpenEvals и Ragas
- Не менее 5 лет опыта разработки масштабируемых платформ для распределенных экспериментов, версионирования данных и моделей, оркестрации, наблюдаемости, управления релизами и мониторинга в продуктивной среде
- Здравое понимание рисков генеративного ИИ, включая устойчивость, предвзятость, конфиденциальность, безопасность и ограничения автоматизированных сигналов оценки
- Степень бакалавра в области информатики, инженерии или смежной дисциплине либо эквивалентный опыт
Преимущества
- Право на получение акций
- Гибкая рабочая модель PinFlex
- Очное сотрудничество один или два раза в квартал
- Работодатель, придерживающийся принципа равных возможностей
- Поддержка при необходимости медицинских или религиозных условий во время процесса подачи заявки