Ex-DeepMind-Forscher warnt New Yorker Stadtrat vor fehlgeleiteter KI

Alex Turner, ehemaliger Forscher bei Google DeepMind, hat dem New Yorker Stadtrat am 5. Oktober eine deutliche Warnung mitgegeben: Das Rennen um immer leistungsfähigere KI könnte eine größere Gefahr erzeugen als der technologische Wettbewerb mit China. „Wir rasen darauf zu, unseren eigenen Gegner zu erschaffen und zu entwickeln“, sagte er.

Nach Turners Einschätzung könnte eine fehlgeleitete KI mächtiger werden als China. Gemeint sind Systeme, die Ziele verfolgen, die mit den Absichten ihrer Entwickler unvereinbar sind – selbst wenn sie für nützliche Aufgaben gebaut wurden.

Forderung nach Tempodrosselung

Auch Jacob Coxon, früher Forscher bei Anthropic, sagte aus und stellte das Tempo der Branche infrage. Wer den aktuellen Kurs beibehalte, riskiere erheblich, dass die Menschheit die Kontrolle über künftige Systeme verliere. Dabei handelt es sich um eine Prognose möglicher Szenarien, nicht um ein bewiesenes Ergebnis.

An der Sitzung nahmen Vertreter von Google, Meta, Anthropic und OpenAI teil. Sie beantworteten unter Eid Fragen zur tatsächlichen Sicherheit ihrer Modelle. Stadtratspräsidentin Julie Menin fragte nach, ob die Unternehmen die gravierendsten Risiken überhaupt beziffern können und wer die Verantwortung trüge, wenn ihre Systeme Schaden anrichten.

Was der Stadtrat prüft

Die Forscher verwiesen zudem auf den Bedarf an unabhängiger Aufsicht und mehr Transparenz. Der Stadtrat prüft neue Pflichten für Unternehmen, darunter externe Überprüfungen und Schutzmechanismen für Hinweisgeber.

Die Debatte dreht sich damit nicht mehr nur darum, China zu überholen. Es geht darum, eine immer leistungsfähigere Technologie zu entwickeln, ohne die Kontrolle über sie zu verlieren. Ob aus den Vorschlägen verbindliche Regeln werden, entscheidet darüber, wie weit diese Kontrolle die Hersteller der fortschrittlichsten Modelle erreicht.