ВТБ и МГУ создали детекторы токсичности и галлюцинаций для ИИ-агентов

ВТБ совместно с Центром искусственного интеллекта МГУ разработали систему для контроля ответов ИИ-агентов.

В рамках партнерства созданы два детектора для проверки ошибок виртуальных моделей — на токсичность и галлюцинации. Они будут анализировать клиентские запросы и ответы цифровых помощников, сообщил советник первого заместителя президента — председателя правления ВТБ Сергей Путятинский в ходе Kazan Digital Week.

Детектор токсичности проверяет сообщения пользователей на наличие запрещенных тем, нарушений законодательства, взрослого контента и других нежелательных элементов. Если запрос окажется неэтичным, система его заблокирует и не станет обрабатывать.

Детектор галлюцинаций анализирует уже сформированные ответы цифровых помощников, выявляя несоответствия и противоречия, а также указывая, в какой части ответа они содержатся. После этого специалисты ВТБ могут отправить ответ на повторную проверку или заблокировать его. Галлюцинации — одна из самых распространенных проблем генеративного ИИ: в таких случаях языковая модель уверенно выдает полностью вымышленный ответ.

«Внедрение таких систем проверки — необходимая мера для поддержания высокого уровня обслуживания клиентов при активном использовании ИИ», — отметил Путятинский, слова которого приводит пресс-служба банка.

Источник и фото - ria.ru