Ein Wissenschaftler hat in einem direkten Vergleich festgestellt, dass OpenAI-Modelle und Anthropics Claude bei mathematischen Aufgaben unterschiedliche Stärken zeigen. Während OpenAI derzeit beim formalen Beweisen mathematischer Sätze besser abschneidet, schreibt Claude nach Einschätzung des Forschers verständlichere und zugänglichere mathematische Texte.
Als praktischen Test ließ der Autor Claude eine neue, expositorische Fassung eines Papers zum Unique-Games-Theorem erstellen. Die KI-generierte Version wurde auf GitHub öffentlich zugänglich gemacht und steht als PDF zur Verfügung. Der Nutzer veröffentlichte seine Erkenntnisse auf der wissenschaftsorientierten Mastodon-Instanz fediscience.org.
Der Vergleich legt offen, dass verschiedene KI-Systeme fundamental unterschiedliche Fähigkeiten im Umgang mit Mathematik haben: formales Beweisen einerseits und verständliche Darstellung andererseits. Diese Aufspaltung wirft Fragen zur Bewertung mathematischer Fähigkeiten von KI-Systemen auf.
Die Veröffentlichung der Claude-generierten Fassung auf GitHub ermöglicht der wissenschaftlichen Community, die Qualität der KI-Exposition direkt zu bewerten. Mathematiker und theoretische Informatiker können prüfen, ob die Darstellung des Unique-Games-Problems fachlich korrekt bleibt, während sie an Verständlichkeit gewinnt.
Der Bericht lässt einige methodische Details offen. Unklar bleibt, ob die Claude-Exposition in einem einzigen Durchgang entstand oder durch iterativen Dialog verfeinert wurde.
Der Vergleich unterstreicht, dass „mathematische Fähigkeit" bei KI-Systemen kein eindimensionales Merkmal darstellt. Die Frage, welche Kompetenz – formales Beweisen oder verständliche Darstellung – wichtiger ist, könnte kontextabhängig unterschiedlich beantwortet werden.
