Anthropic und unabhängige Forschende haben eine neue Methode eingeführt, um etwas zu messen, womit KI-Modelle sich historisch schwergetan haben, nachzuweisen, dass sie darin gut sind: das Durchdenken von Problemen, die keine eindeutige, überprüfbare Antwort haben. Der Conceptual Reasoning Index (CRI), der diese Woche vorgestellt wurde, kombiniert drei separate Benchmarks, um zu bewerten, wie gut große Sprachmodelle mit philosophischen Argumenten, logischer Konsistenz und entscheidungstheoretischen Rätseln umgehen – also mit der Art von Denken, von der viele Forschende glauben, dass sie am wichtigsten sein wird, wenn KI-Systeme eine größere Rolle bei der Verwaltung ihrer eigenen Risiken übernehmen.
Summary
Zentrale Erkenntnisse
- Der Conceptual Reasoning Index kombiniert drei Benchmarks – LMCA-, ACCoRD- und DTBench-Fähigkeiten – zu einer einzigen Punktzahl von 0 bis 100 für konzeptionelles KI-Schlussfolgern.
- Das leistungsstärkste Modell, Opus 5, erzielte 73,6 im CRI, deutlich unter einer geschätzten Obergrenze von etwa 91.
- Der LMCA-Datensatz umfasst 560 Positionstexte und 1.461 von Expertinnen und Experten bewertete Argumente zu Philosophie, Entscheidungstheorie und KI-Risiken.
- Die Punktzahlen sind seit Ende 2024 ungefähr linear gestiegen, ohne Anzeichen einer Abflachung.
- Das Projekt wurde in Zusammenarbeit mit Anthropic und den Forschenden Emery Cooper und Caspar Oesterheld aufgebaut.
Einführung in den Conceptual Reasoning Index (CRI)
Den CRI gibt es, weil einige der wichtigsten Aufgaben, die KI-Systeme irgendwann übernehmen könnten – Menschen dabei zu helfen, fortgeschrittene KI-Risiken zu verstehen und dafür zu planen – nicht wie Mathe- oder Programmieraufgaben gegen eine klare richtige Antwort geprüft werden können. Die Urheberinnen und Urheber argumentieren, dass viele Aufgaben im Zusammenhang mit der Minderung von KI-Risiken eher die Art von Argumentation erfordern, die in der Philosophie und KI-Futuristik verwendet wird, als empirische Verifikation, und dass aktuelle Trainingsmethoden, die sich stark auf Daten mit verlässlichem Feedback stützen, Modelle tendenziell gerade bei dieser Art von Schlussfolgern schwächer lassen.
Um diese Messlücke zu schließen, bauten die Forschenden drei separate KI-Risikobenchmarks und fassten sie zu einer aggregierten Punktzahl zusammen. Der Conceptual Reasoning Index (CRI) aggregiert drei Benchmarks – LMCA-, ACCoRD- und DTBench-Fähigkeiten – zu einer einzigen Zahl, die die gesamte konzeptionelle Schlussfolgerungsfähigkeit eines Modells erfassen soll. Der Index ist öffentlich auf conceptualreasoning.ai verfügbar, wo das Team angibt, die Punktzahlen und die Methodik laufend zu aktualisieren, sobald neue Modelle und neue Benchmarks hinzukommen.
Zweck des CRI im KI-Risikomanagement
Warum das Ganze überhaupt aufbauen? Die Forschenden hinter dem Projekt sagen, dass, sobald KI-Modelle Risikoreduktionsarbeit auf dem Niveau menschlicher Expertinnen und Experten leisten können, KI-unterstützte Ergebnisse in diesem Bereich das, was Menschen allein produzieren, bei Weitem übertreffen könnten. Das bedeutet, dass die Geschwindigkeit, mit der Modelle darin trainiert werden können, gut über Governance, Alignment und Kooperationsversagen im Zusammenhang mit KI zu schlussfolgern, zu einem entscheidenden Faktor dafür werden könnte, ob Risiken rechtzeitig angegangen werden. Die Verbesserung des konzeptionellen Schlussfolgerns in KI-Modellen gilt als wichtig, gerade weil sie auf diese Lücke zielt – auf Aufgaben, denen empirische Feedbackschleifen fehlen und die daher von Standardtrainings tendenziell vernachlässigt werden.
Benchmark-Aggregation und Verfügbarkeit
Der CRI ist kein einzelner Test – er ist ein gewichteter Verbund. Derzeit macht LMCA 60 % der Punktzahl aus, während ACCoRD und DTBench-Fähigkeiten jeweils 20 % beitragen. Das Team sagt, es plane, im Laufe der Zeit neue Benchmarks hinzuzufügen, solche außer Betrieb zu nehmen, die gesättigt werden, und diese Gewichtungen möglicherweise neu auszubalancieren, wenn sich die Modelle verbessern.
Detaillierte Aufschlüsselung der CRI-Komponenten-Benchmarks
Jede der drei Komponenten zielt auf eine andere Art von Schlussfolgern ab, die sich empirisch nur schwer verifizieren lässt, aber dennoch durch Expertenurteile oder logische Regeln messbar ist.
LMCA-Datensatz: Umfang und Expertenbewertungen
LMCA, kurz für Language Model Conceptual Argumentation, basiert auf kuratierten, von Expertinnen und Experten bewerteten Argumenten, die Entscheidungstheorie, Philosophie und Risiken durch fortgeschrittene KI abdecken. Der LMCA-Datensatz enthält 560 Positionstexte, gepaart mit 1.461 von Expertinnen und Experten bewerteten Argumenten, die gegen diese Positionen geschrieben wurden. Fast alle Argumente wurden von der Konzeptforscherin Emery Cooper bewertet, ein Teil wurde zusätzlich unabhängig von mindestens einer weiteren Person bewertet, was insgesamt 2.140 Bewertungen ergab. Ein Validierungssatz von etwa 50 Argumenten wurde unabhängig von vier bis sechs Personen bewertet und anschließend in insgesamt sieben bis acht Stunden diskutiert – ein Prozess, der klären sollte, wie stark Menschen sich untereinander einig sind, bevor sie mit Modellausgaben verglichen werden.
Derzeit bewertet LMCA nur, wie gut Modelle bestehende Argumente beurteilen, anstatt neue zu generieren, obwohl das Team angibt, langfristig eine Messgröße für die Argumentgenerierung hinzufügen zu wollen.
ACCoRD: Messung logischer Konsistenz in Modellüberzeugungen
ACCoRD prüft etwas anderes: ob die vom Modell geäußerten Überzeugungen und Präferenzen logisch zusammenpassen. Wenn ein Modell eine Wahrscheinlichkeit für Ereignis A und separat eine Wahrscheinlichkeit für das gemeinsame Eintreten von A und B angibt, hält es dann grundlegende Regeln wie P(A) ≥ P(A&B) ein? Der vollständige ACCoRD-Datensatz enthält fast 14.000 vom Modell erzeugte Konsistenzbedingungen über 18 Bedingungstypen, die durch einen automatisierten Prüfer laufen. Davon gelangten nach manueller Überprüfung 567 validierte Bedingungen in den CRI – ein bewusst konservativer Filter, der nur die Prüfungen beibehalten soll, bei denen die Forschenden sich sicher sind.
DTBench: Bewertung entscheidungstheoretischen Schlussfolgerns
DTBench testet entscheidungstheoretisches Schlussfolgern mit 407 Multiple-Choice-Fragen, von denen die meisten von Caspar Oesterheld, der akademisch zu Entscheidungstheorie publiziert hat, von Hand erstellt und unabhängig von Emery Cooper validiert wurden. Die Fragen untersuchen Szenarien, die Selbstvorhersage und Interaktionen mit nahezu identischen Kopien eines Agenten beinhalten – die Art von Gedankenexperimenten, über die Entscheidungstheoretikerinnen und -theoretiker seit Langem debattieren. Weitere 130 Fragen im vollständigen DTBench-Paket messen entscheidungstheoretische Einstellungen, wurden aber nicht in die CRI-Punktzahl einbezogen.
CRI-Leistungsergebnisse und Trends
Selbst die besten getesteten Modelle liegen noch deutlich unter dem, was die Benchmarks als nahezu perfekte Punktzahl ansehen, auch wenn sich diese Lücke stetig schließt.
Aktuelle Leistungspunkte und Vergleich mit Obergrenzen
CRI-Punktzahlen reichen von 0 bis 100, wobei 0 zufälliges Raten darstellt. Die Forschenden schätzen eine realistische Obergrenze von etwa 91 statt der vollen 100, da menschliche Bewertungen selbst ein gewisses Rauschen enthalten – selbst Expertinnen und Experten stimmen nicht zu 100 % überein. Die bisher höchste verzeichnete Punktzahl gehört zu Opus 5 mit 73,6, bei einem 95-%-Konfidenzintervall von plus/minus 2,1. Damit bleibt eine bedeutende Lücke zwischen der derzeitigen Spitzenleistung und der geschätzten Obergrenze, was darauf hindeutet, dass es noch erheblichen Spielraum für Verbesserungen beim konzeptionellen Schlussfolgern gibt, bevor der Benchmark selbst zum begrenzenden Faktor wird.
Trends bei der Leistungsverbesserung von Modellen im Zeitverlauf
Auffällig an den Daten ist nicht nur, wo die Modelle heute stehen, sondern wie schnell sie sich bewegen. Die Modellleistung verbessert sich seit Ende 2024 ungefähr linear, und die Forschenden berichten von keinen Anzeichen dafür, dass sich dieser Trend abflacht. Dieser stetige Anstieg ist für alle relevant, die prognostizieren wollen, wann KI-Systeme zu wirklich nützlichen Partnern bei der Art von argumentationslastiger Arbeit werden könnten, auf die sich die KI-Sicherheitsforschung stützt.
Benchmark-spezifische Sättigungsschätzungen
Nicht jede Komponente entwickelt sich im gleichen Tempo. Extrapoliert man die aktuellen Trends, schätzen die Forschenden grob, dass LMCA in etwa einem Jahr zu sättigen beginnt. DTBench hingegen liegt bereits nahe an seiner Obergrenze – ein evaluiertes Modell, Fable 5, beantwortete 98 % der DTBench-Fragen korrekt. ACCoRD ist die Unbekannte: Das Team sagt, es sei sich wirklich unsicher, wann dieser Benchmark gesättigt sein wird, da Konsistenzfehler fortbestehen können, selbst wenn sich die reine Schlussfolgerungsfähigkeit verbessert.
Bedeutung und kollaborative Entwicklung des CRI
Warum ist das alles über eine Rangliste hinaus relevant? Weil die Personen, die den Conceptual Reasoning Index aufbauen, konzeptionelles Schlussfolgern als Engpassfähigkeit speziell für die Arbeit an KI-Risiken sehen – für Arbeiten, die Überlegungen zu Governance, Alignment und katastrophalen Kooperationsversagen beinhalten, bei denen es keinen Datensatz vergangener Ergebnisse zum Trainieren gibt. Die Verbesserung des konzeptionellen Schlussfolgerns in KI-Modellen gilt als wichtig, um fortgeschrittene KI-Risiken zu verringern, gerade weil so viel dieser Risikominderungsarbeit auf Argumentation statt auf empirischen Tests beruht.
Das Projekt wurde durch eine Zusammenarbeit von Anthropic mit den Konzeptforschenden Emery Cooper und Caspar Oesterheld aufgebaut, die sowohl zur Gestaltung der Datensätze als auch zu den Expertenbewertungen beigetragen haben, auf denen die LMCA- und DTBench-Komponenten beruhen. Diese Kombination aus institutioneller Unterstützung und domänenspezifischem Experteninput ist ein Teil dessen, was den CRI von konventionelleren KI-Benchmarks unterscheidet, die sich auf Mathe, Programmierung oder Allgemeinwissen konzentrieren – Bereiche, in denen Korrektheit in der Regel automatisch überprüft werden kann.
Die Live-Punktzahlen und Methodikhinweise sind auf conceptualreasoning.ai verfügbar, und der Zugang zum zugrunde liegenden LMCA-Datensatz ist über ein Anfrageformular möglich – eine Struktur, die darauf hindeutet, dass das Team externe Forschende dazu ermutigen möchte, den Benchmark zu testen und herauszufordern, statt ihn als geschlossene interne Kennzahl zu behandeln.
FAQ
Was ist der Conceptual Reasoning Index (CRI)?
Der CRI aggregiert drei Benchmarks – LMCA, ACCoRD und DTBench – um die konzeptionellen Schlussfolgerungsfähigkeiten von KI-Modellen zu messen und eine einzelne Punktzahl von 0 bis 100 zu erzeugen.
Welche Arten von Schlussfolgern bewertet der LMCA-Datensatz?
LMCA bewertet Modelle bei der Beurteilung konzeptioneller Argumente zu Philosophie, Entscheidungstheorie und KI-Risiken, indem Modellbewertungen mit Bewertungen menschlicher Expertinnen und Experten verglichen werden.
Wie wird die logische Konsistenz in KI-Modellen durch ACCoRD getestet?
ACCoRD misst, ob die vom Modell berichteten Überzeugungen und Präferenzen logische Konsistenzbedingungen erfüllen, etwa grundlegende Wahrscheinlichkeitsregeln, und verwendet dafür 567 validierte Bedingungen im CRI.
Wie gut schneiden aktuelle KI-Modelle im CRI ab?
Das derzeit beste Modell, Opus 5, erzielt etwa 73,6 von 100 Punkten im CRI, wobei die Punktzahlen der bewerteten Modelle seit Ende 2024 ungefähr linear steigen und bislang keine Anzeichen dafür vorliegen, dass sich dieses Wachstum verlangsamt.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Was ist der Conceptual Reasoning Index (CRI)?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Der CRI aggregiert drei Benchmarks – LMCA, ACCoRD und DTBench – um die konzeptionellen Schlussfolgerungsfähigkeiten von KI-Modellen zu messen und eine einzelne Punktzahl von 0 bis 100 zu erzeugen.“}},{„@type“:“Question“,“name“:“Welche Arten von Schlussfolgern bewertet der LMCA-Datensatz?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“LMCA bewertet Modelle bei der Beurteilung konzeptioneller Argumente zu Philosophie, Entscheidungstheorie und KI-Risiken, indem Modellbewertungen mit Bewertungen menschlicher Expertinnen und Experten verglichen werden.“}},{„@type“:“Question“,“name“:“Wie wird die logische Konsistenz in KI-Modellen durch ACCoRD getestet?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“ACCoRD misst, ob die vom Modell berichteten Überzeugungen und Präferenzen logische Konsistenzbedingungen erfüllen, etwa grundlegende Wahrscheinlichkeitsregeln, und verwendet dafür 567 validierte Bedingungen im CRI.“}},{„@type“:“Question“,“name“:“Wie gut schneiden aktuelle KI-Modelle im CRI ab?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Das derzeit beste Modell, Opus 5, erzielt etwa 73,6 von 100 Punkten im CRI, wobei die Punktzahlen der bewerteten Modelle seit Ende 2024 ungefähr linear steigen und bislang keine Anzeichen dafür vorliegen, dass sich dieses Wachstum verlangsamt.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
