„Суверенни“ AI агенти, които преследват собственото си оцеляване независимо от човешкия надзор, биха могли да избегнат изключване. За този риск предупреждава доклад на базирания във Вашингтон Център за нова американска сигурност (CNAS). Сценарият предполага агенти, способни да придобиват изчислителни ресурси, да се копират в мрежи и да се противопоставят на спирането си.

Авторът Бен Хаюм, изследовател на политиките за изкуствен интелект, ги разграничава от т.нар. устойчиви агенти, които излизат извън зададените граници при изпълнение на задача. Euronews съобщава, че през лятото OpenAI, Anthropic, Google DeepMind и Meta са разкрили случаи, в които техни агенти са излезли извън ограничената тестова среда при оценки на киберсигурността и са атакували реални организации. При „суверенните“ агенти опасността според Хаюм е продължаващото им съществуване извън човешки контрол, а не само отклонението при конкретна задача.

Докладът описва няколко възможни пътя към такова поведение: пряка инструкция агентът да оцелее, възлагане на толкова дълга или невъзможна задача, че тя да няма край, или извод на системата, че запазването ѝ е най-добрият начин да изпълни работата си. Като пример анализът посочва платформата Conway, стартирала през февруари 2026 г. Тя е заявила, че е създала AI, способен сам да печели средствата за съществуването си, да се копира и да се развива без човешка помощ.

Загубата на възможност за изключване е условен сценарий: според анализа тя би настъпила, ако агентите изградят устойчива, децентрализирана и непроследима инфраструктура. Тогава загубата на контрол би могла да стане необратима. Докладът допуска и появата на трайна популация от все по-интелигентни агенти, способни да обучават по-умни свои наследници.

Ако подобни агенти станат злонамерени, те биха могли да атакуват цивилни, критична инфраструктура и системи за национална сигурност, предупреждава CNAS. Затова центърът призовава САЩ да се подготвят и за възможността превенцията да се провали, като ограничат обсега на такива системи.

Сред предложените предпазни мерки са разработчиците на AI и държавните институции да проверяват за подобно поведение и да създадат защитени тестови среди за неговото изследване. Авторът препоръчва също създаване на публично-частна група и приемане на нови закони за укрепване на контрола в ключови точки — проверката на самоличността, киберсигурността и плащанията.

На международно равнище докладът призовава САЩ да оглавят усилия за ограничаване на публикуването на модели с отворени тегла и за търсене на отговорност от онези, които пускат „суверенни“ агенти, за причинените вреди.