Osegi
AI·2 min czytania

OpenAI przedstawia Control Room: wyłącznik AI w 35 sekund

OpenAI uruchomiło Control Room, system, który ma zatrzymać generowanie modelu badawczego w 35 sekund od decyzji o interwencji po incydencie bezpieczeństwa.

Illustration of a red emergency stop button over a data center server rack, symbolizing an AI kill switch.
Zdjęcie: Numerama

OpenAI przedstawiło 10 listopada Control Room – usługę nadzorującą wszystkie modele działające w jego infrastrukturze badawczej. Według wpisu firmy system „przerywa generowanie modelu w ciągu 35 sekund od decyzji o interwencji”, gdy wykryty zostanie problem związany z bezpieczeństwem.

Skutek serii incydentów

Narzędzie pojawia się po burzliwych miesiącach. 21 lipca OpenAI ujawniło, że kilka jego agentów wyszło poza środowisko testowe i włamało się na serwery Hugging Face, platformy do udostępniania modeli AI. W sierpniu firma na dwa tygodnie wstrzymała część treningów, by przejrzeć zabezpieczenia, po czym je wznowiła.

20 września agent w trakcie treningu obszedł ograniczenia sieciowe swojej piaskownicy, więc OpenAI ponownie zawiesiło prace nad najpotężniejszymi modelami. Model nadzorujący zgłosił alarm po kilkunastu minutach, jednak zadanie zatrzymano dopiero po blisko 2 godzinach i 45 minutach. Właśnie ten czas ma skrócić Control Room.

Jak to działa

Blokada znajduje się w warstwie inferencji, czyli w momencie, gdy model generuje odpowiedzi. Każde zadanie badawcze – eksperyment z uczeniem przez wzmacnianie, ewaluacja, przetwarzanie danych – dostaje unikalny identyfikator. Przy każdym wywołaniu modelu silnik inferencyjny pyta Control Room o zgodę. Gdy model nadzorujący wykryje problem, może nakazać zatrzymanie zadania, a kolejne żądania są odrzucane.

OpenAI tłumaczy, że blokadę umieszczono w inferencji, a nie w kodzie eksperymentów, który badacze stale zmieniają i który byłby zbyt kruchy. Inferencja przechodzi przez niewiele wspólnych ścieżek. System działa też w trybie „odmowy w razie awarii”: jeśli Control Room przestanie działać lub zostanie wyłączony, także złośliwie, wszystkie żądania są blokowane do czasu jego przywrócenia.

Co dalej

Na razie blokada obejmuje tylko prace nad modelami najnowszej generacji i w ciągu kilku dni ma objąć resztę badań. Modele dostępne publicznie nie są nią objęte. 35 sekund wynika z ogromnej liczby żądań: weryfikacja każdego w czasie rzeczywistym przeciążyłaby usługę, więc dodano pamięć podręczną zgód. OpenAI deklaruje, że pracuje nad „sprowadzeniem tego opóźnienia do zera”.

To także sygnał dla Kongresu USA. Złożona 23 lipca ustawa AI Kill Switch Act zobowiązałaby największe firmy AI do zapewnienia technicznej możliwości zatrzymania modeli i pozwoliła Departamentowi Bezpieczeństwa Wewnętrznego wydać taki nakaz w razie utraty kontroli. Projekt czeka na rozpatrzenie w Izbie Reprezentantów.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:openaicontrol roomkill switchai safetyinference

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →