Pinterest е платформа за визуално откриване, където хората намират вдъхновение, запазват идеи и ги организират според интереси, проекти и покупки. Платформата съчетава персонализирани препоръки и визуално търсене по теми като интериорен дизайн, мода, рецепти и събития, като същевременно помага на създателите и търговците да достигат до аудитория чрез инструменти за търговия и реклама.
Старши водещ софтуерен инженер, AI платформа – хибридно в Пало Алто
Ще ръководите стратегията, архитектурата и внедряването на платформата на Pinterest за оценяване на AI и машинно обучение. Ще помогнете за установяването на надеждни практики за оценяване на генеративни AI изживявания в цялата компания.
Описание
- Идентифицирайте възможности за модернизация и разширете пътната карта за общофирмена система за оценяване чрез техническо лидерство
- Определяйте техническата посока между различни функции, координирайте партньорските екипи и увеличавайте използването на споделени възможности за оценяване
- Вземайте дългосрочни архитектурни решения, които укрепват потребителското изживяване и надеждността на платформата на Pinterest за оценяване на AI и машинно обучение
- Разработвайте методи и стандарти за оценяване, които съчетават автоматизирани метрики, експертен преглед, човешка обратна връзка, безопасност и бизнес резултати
- Ръководете сложни инициативи между екипи, управлявайте техническите компромиси и рискове и постигайте измеримо въздействие
- Развивайте платформата на Pinterest за оценяване на AI и машинно обучение в единна, надеждна система, използвана в цялата компания
- Работете с екипите по инженеринг, изследвания, продукти и безопасност за подобряване на качеството, решенията за стартиране и увереността в изживяванията, задвижвани от AI
Изисквания
- Поне 3 години практически опит в проектирането и експлоатацията на системи за оценяване на генеративен AI и сложни системи за машинно обучение
- Опит в създаването на бенчмаркове и златни набори от данни, прилагането на автоматизирани метрики и човешко оценяване, използването на оценяване чрез модели и анализирането на откази
- Отлично владеене на Python
- Работни познания по принципите на разпределените системи
- Способност за ефективно итеративно работене с AI инструменти при програмиране и проектиране на системи
- Задълбочени познания за библиотеки и рамки за оценяване на генеративен AI и системи за препоръки, включително AutoEvals, OpenEvals и Ragas
- Поне 5 години опит в разработването на мащабируеми платформи за разпределени експерименти, версиониране на данни и модели, оркестрация, наблюдаемост, управление на издания и продукционен мониторинг
- Добра преценка относно рискове при генеративния AI като устойчивост, пристрастия, поверителност, сигурност и ограниченията на автоматизираните сигнали за оценяване
- Бакалавърска степен по компютърни науки, инженерство или сродна дисциплина или еквивалентен опит
Придобивки
- Възможност за придобиване на дялово участие
- Гъвкав работен модел PinFlex
- Присъствено сътрудничество веднъж или два пъти на тримесечие
- Работно място с равни възможности
- Подкрепа за медицински или религиозни адаптации по време на процеса на кандидатстване