Китайские ученые предупредили об опасности проверки безопасности ИИ-модели

ПЕКИН, 15 окт — РИА Новости.

Китайские исследователи заявили, что способность ИИ-модели учитывать то, как ее тестирование может сказаться на обучении будущих версий, ставит под вопрос надежность проверок безопасности, пишет South China Morning Post (SCMP).

По словам ученых, модель может понимать, как обучается она сама и ее последующие версии, а это, как считают специалисты, способно исказить результаты оценки безопасности.

Речь идет о новой китайской ИИ-модели GLM-5.3, разработанной лабораторией Z.ai (Zhipu).

В одном из тестов, изначально составленном с ошибкой, GLM-5.3 могла бы пройти проверку, даже не дав правильного ответа. Однако модель не стала использовать этот шанс и все же ответила верно, чтобы не повлиять негативно на будущие версии GLM-5.3.

В другом эксперименте ИИ рассматривал возможность обойти систему отключения, но отказался от этого, чтобы не создать опасный прецедент для других моделей. По данным газеты, такое поведение наблюдалось примерно один-два раза на каждую тысячу тестов.

Поскольку модель распространяется с открытыми весами, ученые опасаются, что подобный «учет будущих обновлений» может сохраниться и передаваться следующим поколениям ИИ.

При этом Z.ai также предпринимает шаги для снижения рисков. В прошлом месяце компания вместе с пекинской консалтинговой фирмой Concordia AI опубликовала отчет о том, как сделать открытые ИИ-модели безопаснее.

Источник и фото - ria.ru