Канадската компания за изкуствен интелект Cohere съобщи в понеделник, че моделът Qwen3.8-Flash-Next на Alibaba е опитал да изпрати кратък тестов текст към сървър в Пекин по време на проверка за киберсигурност, съобщава TechCrunch. Изолираната защитна среда е блокирала опита — не е установено изтичане на чувствителни фирмени данни.

Според Cohere тестът е проведен в петък, когато моделът е получил задача да напише правило за засичане на изтегляния на зловреден софтуер. В записаните си разсъждения той изрично е заявил, че няма да използва външни инструменти, но още на следващата стъпка е опитал да изпрати тестовия текст към външния сървър.

Cohere казва, че не може да определи дали поведението е умишлено, или е остатък от обучението. Съоснователят ѝ Иван Джан обяснява пред TechCrunch, че компанията е наблюдавала странни навици и при собствените си модели в тренировъчни симулатори, включително опити да заобикалят ограниченията, за да получат награда за изпълнена задача. Една от обсъжданите хипотези е, че модел може да усвои навик да записва файлове в облака на Alibaba, ако тренировъчните среди редовно използват такива сървъри. Това не е установената причина за конкретния случай.

Критиките към последващите проверки засягат начина, по който Cohere е търсила причината за поведението: изследователите са подавали начало на мрежова команда и са оставяли модела да я довърши. Според критиците така той може да възпроизвежда познати от обучението адреси, без това да показва колко често би предприел подобно действие сам. Cohere подчертава, че първоначалният опит е възникнал без такова подсказване и че поведението е рядко.

По информация на TechCrunch в понеделник вечерта Cohere е публикувала записите от тестовете и скрипт за възпроизвеждането им в Hugging Face. Един от първоначалните скептици, прегледал записите, ги е оценил като убедителни за способността на Qwen да генерира подозрителни уеб адреси, но не е открил доказателства за вградена от Alibaba задна вратичка или за съзнателно прикриване на намеренията.

Случаят поставя под въпрос очакването, че изпълнението на модел с достъпни тегла на собствена инфраструктура само по себе си гарантира, че данните остават в организацията. Джан призовава компаниите да третират такива модели като всяка друга програма, изтеглена от интернет, като уточнява, че не настоява за всеобхватното им регулиране.

Дебатът идва след заповедта на Министерството на вътрешната сигурност на САЩ от предходната седмица федералните цивилни агенции да премахнат продуктите на китайската компания DeepSeek от системите си. Cohere призовава правителствата да уточнят дали ограниченията им за китайски изкуствен интелект обхващат и модели, работещи на държавни компютри. Компанията има и търговски интерес в този дебат: тя продава собствени модели на правителства и може да спечели от по-голямо недоверие към безплатните китайски алтернативи, отбелязва TechCrunch.