Anthropic dodaje Claude’owi samoocenę rozmów pod kątem nadużyć

Anthropic wprowadziło nową funkcję bezpieczeństwa dla modelu Claude. Nazywa się „samoocena” i pozwala modelowi w tle oceniać własne rozmowy, wychwytywać możliwe nadużycia i kierować je do przeglądu przez ludzi. Użytkownik nie widzi przy tym żadnych ostrzeżeń. Według firmy mechanizm działa w różnych modelach, także w Claude Fable 5, od czerwca 2026 roku.

Jak to działa

Gdy Claude skończy odpowiedź, system dodaje ukrytą instrukcję, która każe modelowi przejrzeć rozmowę. Claude tworzy wtedy krótką wewnętrzną ocenę: czy prośba była szkodliwa, jakiego rodzaju szkoda mogła wchodzić w grę i jak wysoki priorytet ma sprawa dla zespołu ludzi. Jeśli rozmowa jest bezpieczna, system notuje brak alertu i przechodzi dalej.

Ponieważ model zna już rozmowę, może wykorzystać zapisane o niej informacje. Dzięki temu ocena wymaga tylko około 10 dodatkowych tokenów i podnosi łączny koszt obliczeń o mniej niż 2%. Wcześniejsze systemy bezpieczeństwa Anthropic dokładały ok. 24%, a według firmy u konkurentów, w tym OpenAI, niektóre funkcje bezpieczeństwa zużywają nawet 16% mocy obliczeniowej.

Skuteczność i realne przypadki

W modelu Claude Fable 5 samoocena wychwyciła 78% wszystkich szkodliwych rozmów i 94% spraw o wysokim priorytecie, przy odsetku fałszywych alarmów na poziomie 1%. Anthropic podaje, że w samym sierpniu system wykrył ponad 100 tys. przypadków związanych z materiałami przedstawiającymi seksualne wykorzystywanie dzieci u jednego klienta, a firma od razu zgłosiła je organom ścigania.

System opiera się na ogólnej wiedzy Claude’a, więc rozpoznaje też wzorce, których nie było na listach wykrywania. Gdy badacze całkowicie usunęli z danych treningowych przykłady oszustw i cyberataków, model nadal znalazł 90% takich zagrożeń.

Ograniczenia

Samoocena służy do wykrywania i późniejszej weryfikacji, a nie do natychmiastowego blokowania. Anthropic przyznaje, że sama nie wystarcza wobec wyspecjalizowanych atakujących. W wewnętrznych testach cyberbezpieczeństwa hakerzy obeszli zabezpieczenia w 54% prób, gdy była to jedyna ochrona. Bez żadnych zabezpieczeń odsetek wynosił 79%, a niezależne systemy blokujące w czasie rzeczywistym obniżają go do 25%. Dlatego firma traktuje samoocenę jako dodatkową warstwę nadzoru obok mocniejszych, niezależnych zabezpieczeń.