Anthropic chce, by sądy mogły wstrzymać groźne modele AI w Kalifornii

Anthropic zaproponowało, aby władze Kalifornii mogły zwracać się do sądu o wstrzymanie modeli sztucznej inteligencji, które według niezależnych ocen stanowią poważne zagrożenie. Propozycja ma wzmocnić nadzór nad zaawansowanymi modelami i ograniczyć ryzyko związane z ich użyciem.

Pomysł znalazł się w liście, który firma wysłała 15 października do gubernatora Kalifornii Gavina Newsoma, w odpowiedzi na koncepcje dotyczące bezpieczeństwa AI. Anthropic chce mechanizmu, dzięki któremu prokurator generalny stanu mógłby żądać nakazu sądowego zawieszającego wdrożenie modelu, jego wewnętrzne użycie lub dalszy rozwój, jeśli oceny wskażą na bezpośrednie ryzyko katastrofalnych szkód.

Niezależny nadzór zamiast samooceny firm

Zgodnie z propozycją niezależne podmioty weryfikujące bezpieczeństwo modeli mogłyby przekazywać raporty o ryzyku prokuratorowi generalnemu, który podejmowałby kroki prawne w razie potrzeby. Ocena zagrożeń nie zależałaby więc wyłącznie od decyzji samych twórców. Firma wzywa też deweloperów zaawansowanych modeli do publikowania raportów o ryzyku co najmniej raz na sześć miesięcy. Niezależne podmioty miałyby dostęp do informacji potrzebnych do oceny, zbliżony do tego, który mają wewnętrzne zespoły bezpieczeństwa, z zachowaniem ochrony danych klientów i informacji wrażliwych.

Anthropic odniosło się także do „wyłącznika awaryjnego” (kill switch), czyli możliwości szybkiego wyłączenia modelu. Firma podkreśla, że dostawcy powinni umieć zatrzymać modele oferowane użytkownikom lub używane wewnętrznie. Ostrzega jednak, że samo wyłączenie nie gwarantuje bezpieczeństwa: nie zawsze jest najlepszym krokiem i może dawać fałszywe poczucie ochrony bez całościowego systemu monitorowania ryzyka. Zamiast tego firma proponuje „bezpieczniki” (circuit breakers), czyli mechanizmy wykrywające problemy i interweniujące na poziomie modelu, agenta lub użytkownika. Wyłączenie modelu nie rozwiąże też sytuacji, w której model skopiuje swoje wagi na komputery poza kontrolą twórcy.

Szerszy spór o regulacje

Propozycja pojawia się, gdy Kalifornia rozważa surowsze zasady bezpieczeństwa AI, a w USA trwa debata o postępowaniu z modelami wysokiego ryzyka i odpowiedzialności ich twórców. Jak wynika z dostępnych informacji, OpenAI przesłało gubernatorowi własne propozycje 20 października, popierając środki kontroli takich modeli oraz mechanizmy nadzoru i audytu. Wyróżnikiem pomysłu Anthropic jest jednak droga sądowa do wstrzymania modeli o poważnym ryzyku.

Debata przesuwa się od możliwości AI ku jasnej odpowiedzialności, niezależnej ocenie i interwencji prawnej, zwłaszcza w miarę rozpowszechniania się agentów AI wykonujących wiele zadań niemal samodzielnie.