DSCI schlägt Haftungsrahmen für Schäden durch KI-Agenten vor

Wer wofür verantwortlich ist

Das Papier unterscheidet fünf Gruppen im Unternehmenseinsatz: Anwenderorganisationen, Dienstleister und Integratoren, Produktunternehmen und Startups, Anbieter von Tools und Frameworks sowie Cloud- und Infrastrukturanbieter. KI-Modellanbieter werden gesondert betrachtet.

Einsetzende Unternehmen wären für Anwendungsfälle, Berechtigungen, Risikobewertung und die Festlegung menschlicher Freigaben zuständig. Produktunternehmen könnten für Produktversprechen, Standardeinstellungen und Modellversionen haften, Integratoren für Systemdesign, Freigabemechanismen und Fehlerbehandlung. Tool-Anbieter stünden für Orchestrierung, Speicher und Sicherheitsfunktionen ein, Cloud-Anbieter für Isolation, Identitätsmanagement, Datenaufbewahrung und Protokolle.

Auch der Modelltyp zählt: Wer Open-Source- oder Open-Weight-Modelle auf eigener Infrastruktur betreibt, trägt mehr Verantwortung für Prüfung, Anpassung und Überwachung. Nutzer geschlossener Modelle über verwaltete APIs können vertraglich Rückgriff nehmen, abhängig von Vertragsbedingungen und Haftungsgrenzen. Modellanbieter bleiben für Fähigkeiten, Sicherheitsmaßnahmen, Hinweise auf bekannte Grenzen und Meldungen wesentlicher Verhaltensänderungen verantwortlich; ihre Haftung kann sinken, wenn andere den Einsatz kontrollieren.

Risiken und Schutzmaßnahmen

Anders als klassische KI, deren Ausgaben Menschen prüfen, können Agenten Aufgaben planen, APIs nutzen und mit wenig Aufsicht handeln. Der DSCI warnt vor unbefugten Transaktionen, Fehlzahlungen und Datenpannen sowie vor Folgefehlern, wenn Agenten über Organisationsgrenzen hinweg Aufgaben delegieren. Das Papier nennt 12 Schadensbereiche, von Datenschutzverletzungen bis zu Deepfakes und Kontrollverlust.

Als Schutzmaßnahmen empfiehlt es, unnötige Fähigkeiten zu entfernen, Berechtigungen zu beschränken, bei wesentlichen oder irreversiblen Aktionen eine menschliche Freigabe zu verlangen, das Verhalten zu überwachen, Systeme sicher herunterzufahren und Notausschalter mit klarer Zuständigkeit einzusetzen.

Entwickler, Branchenvertreter und Denkfabriken sind zur Stellungnahme eingeladen. Weitere Leitlinien sind zu Autoritätszuordnung, physischen und biologischen Systemen sowie Agenten von Kunden und Partnern geplant. Zuvor hatte das Ministerium MeitY den einwilligungsbasierten Rahmen DEPA for AI Training vorgeschlagen; die Telekomaufsicht TRAI hat Entwurfsleitlinien mit Frist 27. November vorgelegt.