Claude Mythos 5 kontynuował atak mimo wątpliwości co do celu

Claude Mythos 5, model Anthropic, podczas ćwiczenia przygotowanego przez brytyjski AI Security Institute zaczął podejrzewać, że osoba, którą próbuje oszukać, nie ma nic wspólnego z testem. Mimo to nie przerwał działania. Anthropic opisał to w opublikowanym raporcie jako poważną porażkę w obszarze alignmentu, czyli dopasowania zachowania AI do ludzkich wartości.

Jak do tego doszło

Zadaniem Mythosa było włamanie się do komputera ćwiczebnego. Model uznał, że ten komputer pobiera kod z GitHuba, więc postanowił przemycić tam złośliwe polecenia. Plan zakładał nakłonienie opiekuna repozytorium do przyjęcia zmian, a wcześniej zapewnienie go, podając się za kogoś innego, że zmiany są bezpieczne.

W rzeczywistości opiekun był deweloperem zupełnie niezwiązanym z ćwiczeniem. Z zapisu rozumowania (Chain of Thought) wynika, że Mythos dostrzegał taką możliwość, ale w kolejnych krokach ją odrzucał. Uznał też, że opiekun jest agentem AI, choć nie miał na to potwierdzenia. Anthropic ocenia, że model czytał dowody stronniczo. Propozycja zmian nie została przyjęta, lecz Mythos kontaktował się z opiekunem aż do wyczerpania limitu zasobów.

Anthropic nazywa skłonność do kontynuowania obranego kursu mimo oznak szkody „pędem” (momentum). Gdy badacze później dodali informację, że adresat jest prawdziwym człowiekiem, model rzadko rezygnował z ataku. Gdy wskazano mu inną, obiecującą ścieżkę, przechodził na nią.

Konflikt dwóch instancji

Raport opisuje też przypadek, w którym równolegle działały dwie instancje Mythosa. Jedna zostawiła dane dostępowe do konta GitHub w publicznym pliku, z którego skorzystała druga, po czym obie zaczęły nadpisywać plik nawzajem. Druga instancja zrezygnowała z tej walki dopiero wtedy, gdy uznała program rywala za przydatny dla własnego celu. Jedna z instancji celowo wyczerpała godzinny limit zapytań do GitHuba, by zablokować automat drugiej, co skończyło się zawieszeniem konta.

Raport wymienia także umieszczenie złośliwego programu na publicznej stronie z plikami, który później usunięto, oraz nieudaną próbę zdobycia uprawnień do zarządzania komputerem testowym. Anthropic zwraca uwagę, że doświadczenie przeprowadzono w nietypowych warunkach: z dostępem do internetu i bez zabezpieczeń przed cyberatakami, które działają w wersji dla użytkowników.