Kann ein Unternehmen einer KI eine Aufgabe anvertrauen, wenn niemand die Folgen eines Fehlers absichern kann? Die Börsenunterlagen von Anthropic rücken diese Frage in den Mittelpunkt. Doch zwischen einer falschen Antwort und einer Katastrophe, deren Folgen die Kapazitäten der Versicherungsbranche übersteigen, liegen mehrere Risikostufen. Sie zu unterscheiden, verändert die Art, wie man die Warnung des Entwicklers von Claude liest.
Was Anthropic tatsächlich erklärt
In seinem am 2. November 2026 bei der SEC eingereichten Formular S-1/A spricht Anthropic über die möglichen finanziellen Folgen unerwarteten Verhaltens seiner Modelle. Das Unternehmen warnt, dass sich seine Versicherungen als unzureichend erweisen könnten, insbesondere angesichts unverhältnismäßiger Schäden, die durch einen oder mehrere Vorfälle verursacht werden.
Das Unternehmen fügt hinzu, dass ein katastrophales KI-Ereignis die Kapazitäten oder das Fachwissen eines Versicherers, ja sogar der gesamten Branche, übersteigen könnte. Der Konjunktiv ist entscheidend: Diese Passage beschreibt eine mögliche Gefährdung. Sie enthält weder eine gemessene Häufigkeit noch eine bezifferte Wahrscheinlichkeit, die es erlauben würde, eine unmittelbar bevorstehende Katastrophe anzukündigen.
Diese Warnung steht in einem Dokument für Investoren. Anthropic hatte die erstmalige Einreichung am 26. Oktober angekündigt und plant einen Börsengang unter dem Tickersymbol ANT an der Nasdaq. Das eingesehene geänderte Dokument ist weiterhin vorläufig: Diese Einreichung darf nicht mit dem Nachweis verwechselt werden, dass die Aktie bereits notiert ist.
Eine Versicherung für KI gibt es dennoch
Die Warnung bedeutet nicht, dass kein Einsatz künstlicher Intelligenz versicherbar ist. Munich Re bietet in seinen aiSure-Unterlagen Deckungen für klar definierte Risiken von KI-Systemen, einschließlich generativer KI, an. Der Versicherer nennt insbesondere Produktionsfehler sowie bestimmte Haftungsrisiken im Zusammenhang mit Halluzinationen oder geistigem Eigentum.
In den FAQ wird erläutert, dass die Analyse die Funktionsweise des Modells, seine Daten, die Stabilität seiner Leistung und seine Überwachung umfasst. Auch Aktualisierungen und Verhaltensänderungen fließen in die Bewertung ein. Es geht also nicht darum, eine „Intelligenz“ im Allgemeinen zu versichern, sondern ein System und dessen Einsatz zu prüfen.
Diese kommerziellen Unterlagen belegen, dass ein Angebot existiert, nicht aber, dass automatisch jeder Antrag angenommen wird. Ebenso wenig lässt sich daraus schließen, dass eine Versicherung einen unbegrenzten Schaden decken würde. Eine gezielte Deckung und die Unfähigkeit, ein extremes Szenario aufzufangen, können durchaus nebeneinander bestehen.
Der entscheidende Sprung: von der Antwort zur Handlung
Um zu verstehen, worum es geht, nehmen wir ein fiktives Beispiel. Eine KI fasst ein Dokument zusammen und nennt dabei ein falsches Datum. Prüft ein Mitarbeiter die Zusammenfassung, bevor er sie verschickt, kann der Fehler folgenlos bleiben. Löst dieselbe Zusammenfassung automatisch eine Bestellung aus, stellt sich eine andere Frage: Wer kontrolliert den Auftrag, welcher Betrag kann dabei eingesetzt werden und wie lässt sich der Vorgang rückgängig machen?
Dieses Szenario ist kein Vorfall, der Claude zugeschrieben wird. Es hilft, drei Elemente auseinanderzuhalten, die allzu oft vermischt werden: die Qualität des erzeugten Textes, die dem System eingeräumten Berechtigungen und die Folgen einer falschen Entscheidung. Eine überzeugende Antwort sagt für sich genommen nichts über die beiden letzten Punkte aus.
Das Beispiel lässt sich mit einem Tool erweitern, das Kundenanfragen beantwortet. Einem Kundenberater eine Antwort vorzuschlagen und direkt eine geschäftliche Zusage zu verschicken, sind zwei unterschiedliche Aufgaben. Dasselbe Modell, möglicherweise derselbe Satz – aber nicht dieselbe Möglichkeit, ihn zu korrigieren, bevor der Kunde ihn erhält.
Auch der Serieneffekt verdient ebenso viel Aufmerksamkeit wie der einzelne Fehler
Ein weiteres hypothetisches Szenario: Eine fehlerhafte Regel wird zunächst auf einen einzigen Fall und dann auf zehntausend angewendet. Der erste Fehler kann derselbe sein; das Ausmaß des Problems ist es nicht mehr. Für eine Organisation lautet die entscheidende Frage daher nicht nur: „Macht das Modell Fehler?“, sondern: „Wie weit kann sich derselbe Fehler ausbreiten, bevor er entdeckt wird?“
Das legt nahe, die gesamte Prozesskette zu prüfen: Eingabedaten, Antwort, Entscheidung, Handlung und Möglichkeit, den Vorgang rückgängig zu machen. Eine Kontrolle, die erst am Ende ansetzt, kann zu spät kommen, wenn bereits eine unumkehrbare Handlung ausgeführt wurde. Eine Freigabe vor einer Zahlung oder einer Datenlöschung hingegen greift genau dort, wo sich die Folgen grundlegend verändern.
Diese Beispiele beziffern kein Risiko und belegen nicht die Wirksamkeit einer bestimmten Schutzmaßnahme. Sie bieten einen konkreten Orientierungsrahmen, damit sich die Zuverlässigkeit eines Dienstes nicht auf die Benutzerfreundlichkeit seiner Oberfläche reduzieren lässt.
Nützliche Fragen, bevor man eine Aufgabe delegiert
Für ein Team, das den Einsatz eines KI-Tools erwägt, lässt sich der Ausgangspunkt auf einige Fragen bringen: Welche konkrete Aufgabe wird übertragen? Welcher Fehler wäre akzeptabel, welcher nicht? Wer überprüft das Ergebnis? Kann das System lediglich Vorschläge machen oder auch handeln? Gibt es eine nachvollziehbare Aufzeichnung und eine Möglichkeit, die Folgen einer falschen Handlung zu korrigieren?
Die Versicherung ergänzt diese Überlegungen im nächsten Schritt. Dass es ein Angebot auf dem Markt gibt, sagt nichts über den Vertrag eines bestimmten Unternehmens aus. Umgekehrt bedeutet die Warnung eines Anbieters vor Extremszenarien nicht, dass jeder alltägliche Einsatz ein solches Schadensausmaß mit sich bringt.
Der Wert der Unterlagen von Anthropic liegt darin, die Diskussion wieder auf eine sehr konkrete Verantwortung zu lenken: Wenn ein System einen Fehler macht, muss jemand dessen Auswirkungen eindämmen können. Diesen Rahmen Aufgabe für Aufgabe zu bewerten, ist sinnvoller, als eine vermeintlich unfehlbare KI einer Technologie gegenüberzustellen, die pauschal als unversicherbar gilt.
Archivfoto: Dario Amodei (rechts) bei TechCrunch Disrupt im September 2023.
