D
Defcon AI разрабатывает программное обеспечение на основе искусственного интеллекта для логистики, транспорта и управления цепочками поставок. Технологии компании объединяют программное моделирование и интеллектуальных агентов, помогая организациям планировать работу и реагировать на сбои, вызванные стихийными бедствиями, непредвиденными событиями и действиями в условиях противодействия. Работая на пересечении искусственного интеллекта, мобильности и логистики, компания сотрудничает с партнёрами и создаёт инструменты на основе данных, призванные повышать устойчивость операций, качество принятия решений и эффективность реагирования.
Инженер по тестированию и измерению моделей — удалённая работа в США
Defcon AI ищет инженера по тестированию и измерению моделей для независимой проверки систем ИИ. В задачи входят создание эталонных данных, аудит моделей, измерение рабочих процессов и подготовка доказательств для ответственных решений о выпуске.
Соединенные Штаты150 000 $ – 190 000 $ / год
УдалённоПолная занятостьСредний уровеньСтарший специалистТребуемый Язык: английскийИнженерОписание
- Создавать размеченные эталонные данные для оценки моделей
- Планировать и проводить выборочные аудиты
- Контролировать выпуски по версиям моделей, поддерживая реестры версий, записи оценок и условия отката
- Анализировать дрейф моделей и использование ручных переопределений
- Подготавливать доказательства надзора со стороны человека, справедливости и различий в воздействии
- Сохранять независимость от команд, разрабатывающих модели, и предоставлять результаты оценки без создания моделей, установки порогов или утверждения выпусков на основании этих результатов
- Измерять улучшения рабочих процессов по времени проверки, пропускной способности, изменению объёма невыполненной работы, частоте переопределений и повторной работе
- Устанавливать контроль качества на этапе оценки для отбора выборок, единиц проверки и справедливого сравнения различных методов или найденных источников
- Определять события измерения, которые должны фиксироваться другими командами, и проверять, что рабочее пространство проверки регистрирует события рабочего процесса с момента начала использования
- Сотрудничать с учёными по данным, инженерами по ИИ и техническим руководством
- Поддерживать решения о выпуске, инициативы по улучшению и оценки для клиентов посредством независимых проверок
Требования
- Не менее 5 лет опыта, в рамках которого проверка моделей была определённой обязанностью
- Практический опыт создания эталонных данных и разработки подходов к формированию выборок
- Уверенное владение Python и SQL
- Способность независимо работать от команд, чьи модели вы оцениваете
- Требуется гражданство США
- Действующий допуск к секретной информации США уровня Secret
- Готовность пройти повышенные проверки безопасности персонала для отдельных частей работы, о чём будет рассказано на этапе отбора
- Опыт управления рисками моделей в регулируемых отраслях или государственных структурах
- Опыт проверки справедливости и различий в воздействии, а также документирования надзора со стороны человека
- Знакомство с NIST AI Risk Management Framework или сопоставимой практикой
- Действующий допуск к совершенно секретной информации уровня Top Secret
Преимущества
- Конкурентная заработная плата с бонусом и долевым участием
- Полностью удалённая рабочая среда, ориентированная на результат
- Медицинская, стоматологическая и офтальмологическая страховка для вас и вашей семьи за счёт работодателя
- Неограниченный оплачиваемый отпуск с одобрением руководителя
- Гибкий график и самостоятельное планирование рабочего дня
- 14 недель полностью оплачиваемого отпуска по уходу за ребёнком
- Периодические поездки в штаб-квартиру DEFCON AI, к клиентам и на объекты партнёров по мере необходимости