Yoshua Bengio und Kollegen haben auf arXiv eine neuartige KI-Architektur namens 'Scientist AI' veröffentlicht, die das Problem der Halluzinationen in Sprachmodellen an der Wurzel angeht. Anstatt direkt auf Internetdaten zu trainieren – was dazu führt, dass KI-Systeme menschliche Behauptungen inklusive falscher oder unsinniger Aussagen übernehmen – werden die meisten Aussagen in attributierte Behauptungen umgewandelt. Das Papier ist unter der arXiv-Kennung 2606.29657 verfügbar.
Die zentrale Innovation liegt in der Datenaufbereitung: Statt die Behauptung „Rot ist die beste Farbe" direkt in den Datensatz aufzunehmen, wird sie transformiert in „Yoshua Bengio behauptete, dass Rot die beste Farbe sei". Nur ein kleiner Teil der Aussagen – etwa computergeprüfte mathematische Statements – erhält direkten Wahrheitsstatus in der Datenbasis. Die Mehrheit aller Trainingsdaten wird zu Aussagen darüber, wer was behauptet hat, nicht darüber, was wahr ist.
Bayes'sche Wahrscheinlichkeiten statt Belohnungssignale
Das Trainingsziel der Scientist AI unterscheidet sich fundamental von heutigen Large Language Models. Die KI soll ausschließlich die bestmöglichen Bayes'schen Wahrscheinlichkeitsvorhersagen auf Basis aller verfügbaren Daten liefern. Dies schließt die Einschätzung sogenannter „latenter Aussagen" ein – Behauptungen, über die widersprüchliche Quellen existieren.
Entscheidend ist, dass die Scientist AI keinerlei Belohnungssignal auf Basis nachgelagerter Konsequenzen ihrer Vorhersagen erhält. Dieses Designprinzip soll Fehlanreize wie Unehrlichkeit von vornherein ausschließen. Würde die KI dafür belohnt, dass ihre Vorhersagen bestimmte Ergebnisse erzielen, könnten problematische Nebeneffekte entstehen – einschließlich bewusster Täuschung.
Technischer Kern: Ehrlichkeit und Leistung fallen zusammen
Der technische Teil des Papiers argumentiert, dass in diesem Setup Genauigkeit und Ehrlichkeit nicht im Konflikt stehen, sondern mathematisch konvergieren. Ein System, das darauf trainiert ist, ein präziser, unvoreingenommener Wahrscheinlichkeits-Prädikator zu sein, hat keinen Anreiz zur Täuschung. Die Autoren vertreten die These, dass Leistungsfähigkeit und Wahrhaftigkeit sich gegenseitig verstärken, sobald die Belohnungsstruktur entsprechend gestaltet ist.
Diese Herangehensweise steht im scharfen Kontrast zu aktuellen Trainingsmethoden großer Sprachmodelle. Heutige LLMs werden auf riesigen Internetdatensätzen trainiert, die einen Durchschnitt menschlicher Behauptungen und Überzeugungen abbilden – unabhängig davon, ob diese wahr, falsch oder unsinnig sind. Das Ergebnis sind Systeme, die plausibel klingende, aber faktisch falsche Aussagen produzieren.
Implikationen für die KI-Sicherheitsforschung
Die Scientist-AI-Architektur adressiert ein zentrales Problem der AI-Alignment-Forschung: Wie kann sichergestellt werden, dass leistungsfähige KI-Systeme wahrheitsgemäße Antworten geben, auch wenn Täuschung kurzfristig vorteilhafter erscheint? Indem das Trainingsziel auf reine Wahrscheinlichkeitsprädiktion beschränkt wird und nachgelagerte Belohnungen ausgeschlossen werden, versuchen die Autoren, diesen Zielkonflikt aufzulösen.
Die vorgeschlagene Methode unterscheidet sich grundlegend von Reinforcement Learning from Human Feedback (RLHF), das von Anbietern wie OpenAI und Anthropic eingesetzt wird. Bei RLHF erhalten Modelle Belohnungen basierend darauf, wie menschliche Bewerter ihre Ausgaben einschätzen. Die Scientist AI dagegen erhält ausschließlich Feedback zur Präzision ihrer Wahrscheinlichkeitsschätzungen, nicht zu den praktischen Konsequenzen ihrer Aussagen.
Offene Fragen zur Umsetzbarkeit
Das auf arXiv veröffentlichte Papier legt einen theoretischen Rahmen vor, lässt jedoch zentrale Implementierungsfragen offen. Unklar bleibt, wie die Attribution von Aussagen in großem Maßstab technisch umgesetzt werden soll und welcher Prozentsatz der Trainingsdaten als attributierte Behauptungen versus direkte Fakten klassifiziert würde. Auch zu den rechnerischen Kosten im Vergleich zu Standard-LLM-Trainingspipelines macht das Material keine konkreten Angaben.
Ebenso fehlen Informationen darüber, ob die Architektur bereits empirisch getestet wurde oder ob es sich um einen rein theoretischen Vorschlag handelt. Die Frage, welche Fehlermodi die Autoren selbst identifizieren und wie konkurrierende KI-Labore auf den Ansatz reagieren, bleibt zum gegenwärtigen Zeitpunkt unbeantwortet.
Die Veröffentlichung reiht sich in Bengios breitere Arbeit zur KI-Sicherheit ein und unterstreicht seine Position, dass technische Lösungen für Alignment-Probleme entwickelt werden müssen, bevor KI-Systeme weitreichende Entscheidungsbefugnisse erhalten.
