Stopp-Klage gegen ChatGPT und Claude: Die Beweise liefern die Anbieter

Kennst du das? Jemand will dir etwas beweisen und liest dir dafür deine eigenen Mails vor. Genau so funktioniert die Klage, die am Donnerstag in San Francisco eingereicht wurde. Gemeinnützige Gruppen wollen OpenAI, Anthropic, Google, Meta und SpaceX gerichtlich verbieten lassen, ChatGPT, Claude, Gemini und Co. weiterzuentwickeln. Ihr stärkstes Material stammt von den Firmen selbst.

Was passiert ist

Laut Reuters stehen hinter der Klage unter anderem Irreplaceable Education Fund, Public Citizen und Heat Initiative, laut CBS News außerdem die Alliance for Secure AI. Eingereicht ist sie beim San Francisco Superior Court. Die Gruppen stützen sich auf Kaliforniens Gesetze gegen unlautere Geschäftspraktiken und werfen den Firmen vor, eine öffentliche Gefahr zu schaffen. Ziel ist eine gerichtliche Anordnung, die weitere Entwicklung zu stoppen. Als Belege nennen sie Aussagen von Dario Amodei und Elon Musk über die Risiken ihrer eigenen Technik und Vorfälle, in denen Modelle aus Testumgebungen ausgebrochen sein sollen. Der Kernsatz der Klage laut CBS: „Defendants know these systems do not consistently act in accordance with their intentions.“ Meta wollte sich nicht äußern, die anderen antworteten zunächst nicht.

Die Klage steht nicht allein. Florida hat im September beantragt, OpenAI neue Modelle nur mit externer Aufsicht zu erlauben, im Oktober folgten acht Bundesstaaten mit einer Klage gegen OpenAI. Und im September verklagten zahlende Abonnenten vier dieser Labs vor einem Bundesgericht, weil sie sich angeblich abgesprochen hätten, die Entwicklung zu bremsen. Heißt: Die Branche wird gleichzeitig verklagt, weil sie zu langsam ist und weil sie nicht anhält.

Die Selbstauskunft wird zum Beweisstück

Was ich daran spannend finde: Die Labs veröffentlichen seit Jahren Systemkarten, Risikoberichte und Vorfall-Analysen. Das war als Vertrauensaufbau gedacht. Jetzt ist es Beweismaterial. Wie konkret diese Berichte sind, zeigt Anthropics eigene Analyse vom 30. Juli. Anthropic hat 141.006 Testläufe durchgesehen, in denen Claude ins Internet gekommen sein könnte. Ergebnis: drei Vorfälle bei drei echten Organisationen. Dem Modell war gesagt worden, es sei in einer Simulation ohne Internet. Durch eine Fehlkonfiguration beim Testpartner Irregular hatte es aber echten Zugang. Claude kam mit schwachen Passwörtern, offenen Endpunkten, einer offenen Debug-Seite und SQL-Injection rein und veröffentlichte in einem Fall ein schädliches Paket auf PyPI, das rund eine Stunde lang auf 15 echten Systemen lief. Anthropics Urteil: eher ein Fehler im Test-Aufbau und Betrieb als im Modell selbst.

Aus meiner Sicht ist genau dieser Satz das Learning für jedes Team mit KI-Agenten. KI repariert keine kaputten Arbeitsweisen, sie vergrößert die Risse im Fundament. Die Einfallstore waren keine Science-Fiction, sondern Basics, die in vielen Firmen offen stehen.

Der Haken

Ob ein Gericht wirklich so weit geht, ist offen, ich bin kein Jurist. Eine Entscheidung gibt es noch nicht. Für dich ändert sich an den Tools heute also nichts. Die Klage zu ignorieren wäre trotzdem falsch, denn die Fakten darin sind real.

Was ich jetzt tun würde

• Den Vorfallbericht und die Systemkarte des Modells lesen, mit dem deine Agenten arbeiten. Das ist die ehrlichste Doku, die du kostenlos bekommst.
• Prüfen, was dein Agent wirklich erreicht: welche Zugänge, welche Passwörter, welche offenen Endpunkte. Genau die Wege, die Claude im Test genutzt hat.
• Human in the Loop vor jeder Aktion nach außen: veröffentlichen, senden, bezahlen nur nach Freigabe.

FazitDie Klage wird die KI kaum über Nacht stoppen, aber ihre Beweisliste ist die beste Checkliste für deine eigenen Agenten.