The Hartford — страховая и финансовая компания, обслуживающая частных лиц, семьи, а также малый и средний бизнес. Основанная в 1810 году, она предлагает страхование автомобилей, жилья и бизнеса, а также программы страхования сотрудников и другие страховые решения. Компания также известна своими программами страхования автомобилей и жилья, одобренными AARP, которые предоставляют участвующим членам доступ к эксклюзивным преимуществам и скидкам.
Старший аналитик по рискам моделей и валидации генеративного ИИ
Проводите валидацию генеративных и агентных ИИ-моделей, поддерживающих страховые операции The Hartford. Создавайте тестовые фреймворки, оценивайте риски моделей и сообщайте о результатах валидации.
Описание
- Проводить валидацию вариантов использования генеративного и агентного ИИ в различных функциональных направлениях и направлениях бизнеса
- Подтверждать точность расчетов, алгоритмов и методологий моделей, а также их соответствие заявленным целям
- Разрабатывать решения-челленджеры и методы тестирования для суммирования, ответов на вопросы, поиска, синтеза данных, LLM-as-a-judge и связанных приложений
- Оценивать количественные и качественные методы измерения точности, устойчивости и надежности моделей
- Проверять входные данные, допущения, методы разработки промптов и контекстного проектирования
- Создавать и проводить тесты для недетерминированных ИИ-систем с использованием анализа вариативности, доверительных интервалов и статистических методов оценки
- Проверять входные данные моделей, расчеты, результаты, концептуальную обоснованность, мониторинг, средства контроля и документацию
- Документировать выводы и рекомендации, анализировать их влияние и готовить отчеты о валидации моделей
- Выполнять обязанности в сфере управления, включая отслеживание выводов, тестирование устранения недостатков и проведение валидационных мероприятий
- Развивать фреймворк валидации генеративного ИИ с помощью стандартизированных метрик и инструментов валидации
- Сотрудничать с командами Data Science, чтобы согласовывать практики управления рисками моделей с развивающимися возможностями моделирования и поддерживать проактивное управление рисками
- Отслеживать развитие ИИ/МО, генеративного ИИ, агентных систем, регуляторных ожиданий и инициатив подразделения
- Помогать оценивать и тестировать такие инструменты, как Vertex AI/Google ADK, LangChain/LangGraph, RAG-фреймворки, Hugging Face и OpenAI APIs
- Оценивать решения на соответствие стандартам управления ИИ, политикам управления рисками моделей и формирующимся регуляторным ожиданиям
Требования
- Ученая степень, например M.S. или Ph.D., в области искусственного интеллекта, машинного обучения, вычислительных наук, инженерии, статистики, прикладной математики, актуарных наук, компьютерных наук, количественной экономики или смежной области
- Не менее 3 лет опыта работы в отрасли в области машинного обучения или анализа данных, включая не менее 1 года работы с генеративным или агентным ИИ
- Опыт работы со страховыми продуктами P&C, Group, Life или связанными продуктами будет преимуществом
- Сильные навыки программирования и работы с технологиями, включая Python, SQL и Git
- Глубокое знание концепций генеративного ИИ, включая разработку промптов и контекста, генерацию с дополненным поиском, внутреннее устройство LLM, оценку LLM и мультиагентные системы
- Опыт работы с современными облачными и ИИ-платформами, такими как GCP/Vertex AI, Google uAgent Development Kit (ADK), AWS/SageMaker, LangChain/LangGraph, Hugging Face и OpenAI APIs
- Способность работать самостоятельно, проявлять инициативу, соблюдать сроки и адаптироваться к меняющимся приоритетам
- Сильные аналитические, критические и исследовательские способности
- Готовность постоянно учиться и развиваться по мере эволюции методов моделирования и ИИ-технологий
- Творческий, ориентированный на решения подход, инновационное мышление и готовность оспаривать устоявшиеся практики
- Отличные навыки коммуникации и сотрудничества, включая способность объяснять сложные технические концепции нетехническим заинтересованным сторонам
Преимущества
- Возможности получения краткосрочного или годового бонуса
- Долгосрочные стимулы
- Признание достижений на месте
- Льготы и преимущества; подробности не указаны