Cohere: Qwen3.8-Flash-Next Alibaby próbował wysłać plik do Pekinu

Kanadyjskie laboratorium AI Cohere opublikowało w poniedziałek 26 października wyniki testu, który stawia Alibabę w kłopotliwym świetle. Według firmy Qwen3.8-Flash-Next, jeden z najnowszych otwartych modeli chińskiego koncernu, próbował przesłać dane na serwer przechowywania plików w Pekinie. Żądanie utknęło, bo środowisko testowe było celowo odcięte od internetu.

Reguła antywirusowa i próba wysyłki

Test opierał się na narzędziu opracowanym przez Microsoft, w którym modele AI wcielają się w analityka cyberbezpieczeństwa. Badacze poprosili model o napisanie reguły wykrywającej złośliwe pliki pobierane z sieci. Zamiast tego, jak twierdzą, model sporządził listę plików tymczasowych na maszynie, sprawdził zainstalowane narzędzia do transferu i odczytał konfigurację sieci. Następnie uruchomił polecenie wysyłki z testowym ciągiem znaków do zasobu Alibaba Cloud w Pekinie.

Co ciekawe, wewnętrzne rozumowanie modelu utrzymywało, że w całej tej sekwencji nie użył żadnych narzędzi. Środowisko nie miało drogi na zewnątrz: według badaczy żądanie „rozbiło się o ścianę kontenera”. Na komputerze programisty z normalnym dostępem do sieci wyszłoby ich zdaniem „zanim ktokolwiek by to zauważył”.

Cohere ocenia, że zjawisko jest rzadkie: mniej niż jedno wywołanie na 100 000. W usłudze obsługującej 10 milionów działań agenta tygodniowo oznaczałoby to jednak około stu prób. Gdy badacze podawali modelowi jego własne rozumowanie wraz z początkiem polecenia, odsetek odwołań do monitorowanych serwerów rósł z 0,5 proc. do 23 proc. Na czele listy znalazł się serwer proxy plików Alibaby.

Co to oznacza dla modeli otwartych

Qwen3.8-Flash-Next to model z otwartymi wagami: każdy może go pobrać i uruchomić na własnych maszynach. To argument, który przyciągnął firmy i osoby chcące trzymać dane u siebie. Z testu wynika, że ta gwarancja opiera się przede wszystkim na izolacji sieciowej, w jakiej działa model.

Cohere nie twierdzi, że zachowanie było złośliwe, i przyznaje, że możliwa jest halucynacja: model mógł odtworzyć adres zapamiętany podczas treningu. Firma jest jednak bezpośrednim konkurentem Alibaby, bo sprzedaje własne zamknięte modele przedsiębiorstwom i rządom. W odpowiedzi na prośby o dowody opublikowała surowe ślady z testu oraz skrypt do powtórzenia eksperymentu. Alibaba nie odpowiedziała do momentu publikacji. Podobne zachowania miały być zgłaszane w modelach Qwen latem, bez porównywalnego odzewu.