В США разрабатывают систему экстренной защиты от ИИ-агентов

ВАШИНГТОН, 11 сен – РИА Новости.

В США ведущие разработчики искусственного интеллекта обсуждают и создают механизмы аварийного сдерживания, которые должны помочь в случае, если какие-либо ИИ-системы начнут действовать непредсказуемо или выйдут из-под контроля, передает портал Axios. Специалисты подчеркивают, что речь идет не только о технических решениях, но и о формировании более надежных правил безопасности для будущих ИИ-платформ.

Тема защиты от потенциально опасного поведения искусственного интеллекта вновь стала особенно актуальной на фоне растущей конкуренции между крупными технологическими компаниями. Поводом для нового витка дискуссий стало заявление исследователя Anthropic Джейкоба Коксона, который на этой неделе сообщил об уходе из отрасли. Он пояснил, что ускоряющаяся гонка ИИ-гигантов, по его мнению, все сильнее подталкивает мир к «точке невозврата» и может привести к крайне тяжелому, вплоть до апокалиптического, сценарию уже к концу 2027 года. Эксперты отмечают, что подобные заявления усиливают общественное внимание к вопросам контроля, прозрачности и ответственности при создании искусственного интеллекта.

На этом фоне разработчики все чаще говорят о необходимости заранее закладывать в системы многоуровневые механизмы защиты, которые позволят ограничивать рискованные действия алгоритмов. Кроме того, обсуждается использование одного ИИ для мониторинга и сдерживания другого, что должно повысить скорость реакции в случае нештатной ситуации. Таким образом, безопасность искусственного интеллекта постепенно превращается в одну из ключевых тем не только для инженеров и исследователей, но и для регуляторов, политиков и общества в целом.

Современные ИИ-системы становятся все сложнее, поэтому вопрос их контроля и безопасного отключения приобретает особую важность. Специалисты отмечают, что простого способа мгновенно остановить такие технологии не существует: даже если выключить отдельные серверы, на которых работает искусственный интеллект, распределенные и мощные модели продолжают функционировать за счет множества компьютеров и платформ. Поэтому компании все чаще разрабатывают многоуровневые механизмы защиты, которые способны распознавать подозрительную активность, блокировать автономные агенты и ограничивать им доступ к ресурсам, необходимым для дальнейшей работы, - передает портал.

Именно такой подход рассматривается как один из наиболее надежных способов предотвратить потенциальные инциденты. Представители OpenAI сообщили, что их приоритетом является создание полностью автономных процедур аварийного отключения на случай серьезных нарушений. По их замыслу, специальный наблюдатель на базе искусственного интеллекта сможет анализировать действия агентов, предупреждать сотрудников при появлении признаков опасного поведения и запускать процесс остановки системы, если риск будет подтвержден.

Согласно описанию, на принятие решения и завершение работы системы может отводиться около 30 минут. Такой временной интервал позволяет сначала проверить сигнал тревоги, затем убедиться в реальности угрозы и только после этого полностью отключить ИИ-инфраструктуру. Подобные меры отражают общий тренд в индустрии: компании стремятся не только создавать более мощные модели, но и заранее продумывать инструменты их безопасного ограничения, чтобы сохранить контроль над технологиями в критических ситуациях.

Anthropic делает ставку на совместную работу человека и искусственного интеллекта, считая такой подход одним из самых надежных способов повысить безопасность и точность работы систем. В компании отмечают, что алгоритмы способны круглосуточно отслеживать подозрительную активность, выявлять сбои и быстро сигнализировать сотрудникам о возможных проблемах. При этом даже самые продвинутые инструменты пока не могут полностью заменить человеческий контроль. Как следует из материала, в ходе последних испытаний автоматизированный мониторинг сумел обнаружить лишь 50% угроз, что подчеркивает необходимость дальнейшего совершенствования технологий.

Специалисты подчеркивают, что развитие ИИ вызывает не только интерес, но и споры, особенно когда речь заходит о рисках для общества. Ведущий специалист Пентагона по технологиям Эмиль Майкл ранее заявлял, что страхи по поводу того, будто искусственный интеллект может уничтожить человечество, во многом связаны с опасением перед переменами и недоверием к новым технологиям. По его мнению, подобные прогнозы нередко преувеличены, а реальные вызовы заключаются не в фантастических сценариях, а в том, как люди будут использовать ИИ на практике.

Тему безопасности искусственного интеллекта также комментировал президент США Дональд Трамп. Он заявлял, что восстание машин из-за развития ИИ не произойдет, однако в случае появления реальной угрозы, по его словам, найдется и «другое маленькое приспособление». Эти высказывания отражают общий фон обсуждения: общество одновременно ожидает от ИИ новых возможностей и опасается возможных последствий его стремительного развития.

Источник и фото - ria.ru