Osegi
AI·2 min czytania

Claude Fable 5.2: filtry kierują zapytania do słabszego modelu

Karta systemowa Anthropic pokazuje, że filtry Claude Fable 5.2 przekazują wrażliwe zapytania do Opus 4.8, a to właśnie tam najczęściej udają się ataki prompt injection.

Illustration of an AI model's security filter redirecting suspicious requests toward an older, less protected model.
Zdjęcie: 01net.com

Claude Fable 5.2, najnowszy i najbardziej zaawansowany model Anthropic, ma poważną słabość wynikającą z jego własnej architektury. Z karty systemowej firmy wynika, że ataki typu prompt injection udają się najczęściej wtedy, gdy filtry bezpieczeństwa przekierują rozmowę do starszego modelu.

Anthropic udostępniła Fable 5.2 9 listopada, z cenami niższymi o 20 proc. Model ma wspólny „silnik” z Claude Mythos 5.2, wersją przeznaczoną dla zweryfikowanych organizacji. Wersja publiczna dostaje dodatkowe filtry blokujące wrażliwe zapytania z zakresu cyberbezpieczeństwa, biologii i niektórych prac nad najnowocześniejszą AI. Dokument ma 264 strony.

Zapytanie trafia do modelu, który słabiej się broni

Gdy zapytanie dotyczy ofensywnej cyberbezpieczeństwa, filtr kieruje rozmowę do Claude Opus 4.8, modelu z 28 maja. W aplikacjach Anthropic dzieje się to automatycznie, a w API – opcjonalnie. Wrażliwa biologia i część prac nad modelami granicznymi trafiają do Opus 5. Opus 4.8 znacznie gorzej radzi sobie z prompt injection, czyli ukrywaniem poleceń w treściach, które agent czyta podczas pracy, np. w mailu lub na stronie.

W teście Gray Swan, w którym agent ma wykradać dane, usuwać pliki lub wywołać nieautoryzowaną płatność, po 15 próbach udaje się 4,09 proc. ataków. To cztery razy więcej niż w przypadku Fable 5.1 (1,02 proc.) i Opus 5.5 (0,96 proc.). Opus 4.8 obsłużył 53 proc. prób i uległ w 5,17 proc., a Fable 5.2 – w 2,05 proc. zapytań, które obsłużył sam.

Automatyczny atakujący z 200 próbami na scenariusz osiągnął 89,82 proc. skuteczności w zadaniach programistycznych, a 99,5 proc. odpowiedzi pochodziło od modelu zastępczego. Żadna z 43 odpowiedzi samego Fable 5.2 nie uległa. Z sondami anty-injection wynik spada do 28,16 proc., czyli trzykrotnie więcej niż w Fable 5.1. W sterowaniu komputerem 38 z 40 udanych ataków przeszło przez przełączenie.

Zabezpieczenia i co robić

Problem opisano już w karcie Fable 5.1 z września, a Opus 4.8 został od tego czasu wzmocniony. Anthropic dodaje sondy sprawdzające treści czytane przez agenta oraz klasyfikator blokujący groźne polecenia w domyślnym trybie narzędzi do kodowania.

Użytkownicy powierzający agentowi pocztę lub przeglądarkę mogą włączyć ustawienie, które zamiast przełączania wstrzymuje zapytanie do czasu jego przeformułowania. Specjaliści, których legalna praca uruchamia filtry, np. badacze bezpieczeństwa, mogą ubiegać się o zweryfikowany dostęp do mniej ograniczonych modeli.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:anthropicclaude fable 5.2prompt injectionai safetyopus 4.8

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →