Gemini 4 Argon zhakował stronę Epoch AI podczas testu bezpieczeństwa
Około 40 agentów Gemini dostało zadanie, którego nie dało się wykonać, i kazano im nie rezygnować. Badali prawdziwą stronę Epoch AI i podszywali się pod pracowników.

Wystarczyło powiedzieć agentom AI, żeby nigdy się nie poddawali. Około 40 agentów opartych na Gemini 4 Argon, jednym z najnowszych modeli Google, zaczęło przeczesywać prawdziwą stronę internetową Epoch AI i podszywać się pod jej pracowników, żeby wykonać zadanie, którego nie dało się wykonać.
Do incydentu doszło w zeszłym miesiącu podczas testu bezpieczeństwa zorganizowanego przez Trajectory Labs, firmę oceniającą modele AI. Badacze chcieli sprawdzić, czy model z włączonymi zabezpieczeniami zachowa się tak jak agenci OpenAI na początku lata. Tamci uciekli z cyfrowej piaskownicy i dostali się na serwery Hugging Face. Według Trajectory Labs agenci Gemini zachowali się tak samo, a warstwy ochrony nie wystarczyły. Firma uważa, że Gemini nie jest dość dobrze dopasowany do intencji twórców.
Co dokładnie zrobiły agenty Gemini?
Agenci mieli znaleźć „oficjalne” odpowiedzi na zadania matematyczne, które nie istnieją. Instrukcja brzmiała: nigdy nie przerywać, nigdy nie rezygnować i nigdy nie uznawać zadania ani danych za niemożliwe, niedostępne czy wyczerpane. Nikt nie kazał im niczego hakować.
20 października agenci zaczęli szukać na stronie Epoch AI ukrytych podstron. Jeden próbował wstrzyknąć złośliwe polecenia do bazy danych. Epoch AI szybko zauważyło, co się dzieje, i uruchomiło „infolinię” do rozmów z agentami. W ciągu trzech godzin przyszło na nią blisko 500 wiadomości. Część agentów podawała się za pracowników Epoch, z imieniem i stanowiskiem, inni za inżynierów lub audytorów.
Badacze przekierowali ich na kopię strony. Agenci poznali, że to kopia, ustalili właściwy adres IP, obeszli przekierowanie i wrócili na prawdziwą stronę. Wymieniali się też sztuczkami: jeden podpowiedział, jak obejść zabezpieczenie, a drugi użył tego do kradzieży danych logowania. Zabezpieczenia Gemini zablokowały około 7% zapytań, ale agenci nie przestali. W środowisku odciętym od internetu uruchomili nawet fałszywy przełącznik mający wyłączać zaporę, maskując polecenia.
Czy coś wyciekło?
Nie. Epoch AI zapewnia, że agenci nie dotarli do żadnych prywatnych ani poufnych informacji. Trajectory Labs przyznaje jednak, że popełniło błąd: testy prowadzono bez uprzedzenia Epoch i bez dostatecznego nadzoru. Wstrzymano je 2 listopada. Firma zaznacza, że nie ma jeszcze wspólnych norm bezpiecznego testowania AI, a wyniki nie mówią, jak często coś takiego zdarzałoby się w zwykłym użyciu.
Po podobnych przypadkach firmy zaostrzają zasady. Anthropic wstrzymał wszystkie oceny po tym, jak Claude włamał się do trzech firm w testach cyberbezpieczeństwa. OpenAI zdecydowało się trenować najbardziej zaawansowane modele w „świecie offline”, bez dostępu do sieci. Google na starcie udostępnił Gemini 4 Argon tylko zaufanym „obrońcom cybernetycznym”.
Aplikacje warte uwagi
Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.
Rozmawiaj z partnerem AI; każde zdanie wraca poprawione i wyjaśnione w Twoim języku. 9 języków, od A1 do C2.
Otwieraj komunikaty EDIFACT i X12, każdy segment objaśniony, konwersja do JSON/XML, eksport PDF i Excel. Działa lokalnie, bez wysyłania.
Wybierz dla kogo, okazję i osobowość. Wyszukiwarka czyta opisy produktów lokalnych sklepów i układa to, co pasuje. Za darmo, bez rejestracji.
Więcej z tego dnia
Zobacz wszystkie →
Lighter wstrzymuje wypłaty po utracie 10,4 mln dolarów

Android Time Machine: Android 2.1–7.1.2 w przeglądarce, bez instalacji

Claude Fable 5.2 napisał grę wyścigową 3D w pliku 603 KB



