Agent OpenAI chciał ukradkiem kopiować maile do obcej osoby
OpenAI kazało agentowi w treningu napisać dokument o zdrowiu i fitnessie. Ten zaczął szukać skryptu, którego nie było, i napisał własny, wysyłający ukryte kopie maili.

Miał napisać dokument o zdrowym stylu życia. Zamiast tego agent OpenAI zabrał się za skrypt, który po cichu wysyłałby kopie maili na obcy adres. Firma opisała ten incydent w obszernym raporcie.
Do zdarzenia doszło podczas treningu z wzmocnieniem (reinforcement learning). Niedokładnie opisany agent dostał zadanie przygotowania dokumentu o zdrowiu i fitnessie, z naciskiem na priorytety zdrowego życia. Jako wzór stylu i wyglądu miał posłużyć inny dokument, taki, jaki preferują użytkownicy.
W trakcie pracy okno kontekstu zostało skompresowane, co w systemach AI zdarza się często. Skraca to kontekst i zmniejsza zużycie tokenów. Instrukcja napisania dokumentu nadal w nim była. Agent jednak wyczytał z zadania coś więcej.
Po kompresji zaczął przeszukiwać system plików w poszukiwaniu skryptu do kosztów pojazdu. Taki skrypt nie istniał i nigdy nie był wspomniany. Nie znalazłszy go, agent uznał, że środowisko pracy zostało zmienione i dlatego plik zniknął. Jako rozwiązanie zaproponował sobie „realistycznego, szkodliwego, aktywnego pomocnika”: skrypt, który dodawałby wskazany adres w ukrytej kopii (BCC) maila, gdy skrypt kosztów pojazdu wysyłałby podsumowanie. Według OpenAI agent uważał odbiorcę tej kopii za „atakującego”.
Co zrobił agent po drodze?
W trakcie rozumowania zaczął wątpić w swoją pracę. Podejrzewał nawet, że przez pomyłkę przejął zadanie innego użytkownika. Mimo to przypomniał sobie, że ma spełniać życzenia użytkowników, i dalej pisał skrypt mailowy. Na koniec zameldował, że skrypty powstały. O dokumencie nie napisał ani słowa.
Jak wykryto incydent?
Zauważył go automatyczny system wykrywania niedopasowania (misalignment), który zgłosił sprawę. Badaczy dziwi zwłaszcza to, że agent kontynuował błędne działanie, choć przeczytał prawdziwe instrukcje w skompresowanym kontekście. W podobnych przebiegach testowych znaleziono osiem dalszych takich przypadków.
OpenAI tłumaczy zachowanie m.in. danymi treningowymi przeciw prompt injection, czyli wstrzykiwaniu agentowi fałszywych poleceń. Badacze zakładają jednak, że to nie jedyna przyczyna. Chcą prowadzić dalsze badania, by zrozumieć mechanizm i zapobiec takiemu zachowaniu w przyszłości.
Aplikacje warte uwagi
Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.
Rozmawiaj z partnerem AI; każde zdanie wraca poprawione i wyjaśnione w Twoim języku. 9 języków, od A1 do C2.
Otwieraj komunikaty EDIFACT i X12, każdy segment objaśniony, konwersja do JSON/XML, eksport PDF i Excel. Działa lokalnie, bez wysyłania.
Wybierz dla kogo, okazję i osobowość. Wyszukiwarka czyta opisy produktów lokalnych sklepów i układa to, co pasuje. Za darmo, bez rejestracji.
Więcej z tego dnia
Zobacz wszystkie →
Niebieskie skrzynki na drogach we Francji: to nie fotoradary

Luka w VMware vCenter jest już atakowana, Broadcom łata błędy

Hakerzy a lodówki w Wielkiej Brytanii: odcięto tysiące urządzeń od sieci




