Der Begriff Halluzination legt nahe, dass etwas schiefgegangen ist. Tatsächlich beschreibt er das System bei bestimmungsgemäßem Betrieb.

Was ein Sprachmodell tut

Es sagt voraus, welches Wort als nächstes am wahrscheinlichsten folgt – auf Grundlage von Mustern aus sehr großen Textmengen. Es gibt keinen Abgleich mit einer Wissensdatenbank, keine Prüfung, kein Nachschlagen.

Daraus folgt: Ein Modell kann nicht zwischen einer Angabe unterscheiden, die es gelernt hat, und einer, die sprachlich gut passt. Beides fühlt sich für das System gleich an. Deshalb klingen erfundene Antworten so überzeugend – flüssige Formulierung ist genau das, worauf trainiert wurde.

Wo das im Betrieb gefährlich wird

  • Zahlen und Fristen. Preise, Lieferzeiten, Kündigungsfristen. Eine erfundene Angabe gegenüber Kunden kann bindend wirken.
  • Rechtliche Auskünfte. Paragrafen und Fristen werden besonders zuverlässig falsch wiedergegeben, weil das Muster stimmt und die Zahl nicht.
  • Quellenangaben. Modelle erfinden regelmäßig Fundstellen, die es nicht gibt – Titel, Autor und Jahr sehen plausibel aus.

Was tatsächlich hilft

Anbindung an eigene Dokumente. Das System sucht zuerst in einem geprüften Bestand und formuliert aus dem Gefundenen. Damit verschiebt sich die Aufgabe vom Erinnern zum Zusammenfassen – und darin sind Sprachmodelle deutlich verlässlicher.

Quellen mit ausgeben. Jede Antwort mit Verweis auf die Stelle, aus der sie stammt. Das macht Prüfung möglich und verändert nebenbei das Verhalten der Nutzer: Wer eine Quelle sieht, klickt sie im Zweifel an.

Grenzen einbauen. Ein System, das bei fehlender Grundlage antwortet „dazu liegt mir nichts vor“, ist besser als eines, das immer etwas sagt. Das ist Konfigurationsarbeit, keine Modellfrage.

Was niemand versprechen kann

Vollständige Faktentreue. Wer sie zusagt, hat entweder die Technik nicht verstanden oder rechnet damit, dass der Kunde es nicht prüft.

Die belastbare Zusage lautet anders: Das Risiko wird durch Anbindung und Quellenausgabe gesenkt, es wird laufend überwacht, und für kritische Auskünfte bleibt ein Mensch in der Verantwortung.