Große Sprachmodelle können eine Multiple-Choice-Frage auf der Seite falsch beantworten und dennoch die richtige Antwort irgendwo in ihren eigenen Schaltkreisen gespeichert haben. Das ist die bemerkenswerte Prämisse einer neuen Studie zur Query-Key-Ausrichtung, die zeigt, dass die Diskrepanz zwischen dem, was ein Modell „weiß“, und dem, was es tatsächlich bei Multiple-Choice-Fragen (MCQA) ausgibt, keine Sackgasse ist – sondern ein Signal, das direkt aus dem Aufmerksamkeitsmechanismus des Modells gelesen werden kann, noch bevor ein einziges Token dekodiert wird.
Inhalt
Wichtigste Erkenntnisse
- Große Sprachmodelle kodieren intern häufig die korrekte MCQA-Antwort, selbst wenn ihre endgültige Ausgabe falsch ist.
- Eine neue Kennzahl namens Query-Key-Score oder QK-Score misst die Ausrichtung zwischen der Query des letzten Tokens und dem Key, der jeder Antwortoption zugeordnet ist, berechnet, bevor das Rotary Positional Embedding (RoPE) angewendet wird.
- Getestet über 24 Modelle mit 1,5 bis 72 Milliarden Parametern übertraf der QK-Score eines einzelnen Attention-Heads die Zero-Shot-Genauigkeit des Modells selbst um bis zu +27,4 Prozentpunkte auf HellaSwag und +49,8 Punkte auf HaluDialogue.
- Ein unüberwachtes Werkzeug namens HeadScore kann diese kritischen Heads ohne jegliche gelabelten Daten finden und erreicht bei jedem getesteten Modell die gleichen Ergebnisse wie überwachte Methoden.
- Die Forschenden veröffentlichten ein einzeiliges, direkt einsetzbares HeadScore-Skript zusammen mit Head-Indizes pro Modell, sodass sich die Ergebnisse mit einem einzigen Befehl reproduzieren lassen.
Entdeckung latenten Wissens in großen Sprachmodellen
Die zentrale Erkenntnis ist einfach zu formulieren, aber in ihrer Tragweite bedeutend: LLMs geben bei MCQA-Aufgaben routinemäßig nicht die richtige Option aus, obwohl die korrekte Antwort irgendwo in ihren internen Repräsentationen kodiert ist. Diese Lücke zwischen internem „Wissen“ und externer Ausgabe hat Forschende, die das Modellverhalten untersuchen, schon lange beschäftigt und wirft eine praktische Frage auf – wenn die Antwort im Modell steckt, kann sie extrahiert werden, ohne darauf zu warten, dass das Modell Text generiert?
Das ist wichtig, weil MCQA-Benchmarks ein Standardmaßstab zur Bewertung der MCQA-Leistung großer Sprachmodelle sind – von akademischen Ranglisten bis hin zu Produktionsevaluierungen. Wenn Modelle ihre tatsächliche Kompetenz aufgrund von Ausgabe-Eigenheiten statt echter Denkfehler unterschätzen, könnten Genauigkeitswerte, die ausschließlich auf generiertem Text basieren, das gesamte Feld darüber in die Irre führen, was diese Systeme tatsächlich verstehen.
Query-Key-Score und Select-and-Copy-Attention-Heads
Um diese latenten Informationen offenzulegen, führen die Forschenden eine Kennzahl ein, die sie Query-Key-Score oder QK-Score nennen. Für einen bestimmten Attention-Head wird er als inneres Produkt zwischen der Query des letzten Tokens und dem Key berechnet, der dem End-of-Line-Token nach einer gegebenen Antwortoption entspricht, wobei diese Berechnung vor der Anwendung des Rotary Positional Embedding erfolgt. Praktisch gesehen ist es eine Möglichkeit, in die Aufmerksamkeitsmechanik des Modells hineinzuschauen, um zu sehen, zu welcher Option das Modell im Stillen tendiert – unabhängig davon, welchen Text es letztlich ausgibt.
Das Argmax dieses Scores über die Optionen hinweg offenbart etwas, das das Paper als eine universelle Klasse von Select-and-Copy-Attention-Heads in den mittleren Schichten dieser Modelle beschreibt. Diese Heads führen die Optionsauswahl durch semantische Query-Key-Ausrichtung durch und verhalten sich auf eine Weise, die sie mechanistisch von zuvor dokumentierten Induktions- und Copy-Suppression-Heads unterscheidet.
Zwei Eigenschaften stechen hervor. Erstens sind diese Heads invariant gegenüber Label-Symbolen – das heißt, sie verfolgen nicht einfach, welcher Buchstabe oder welche Zahl zu einer Antwort gehört, sondern etwas, das eher dem semantischen Inhalt der Option selbst entspricht. Zweitens lösen sie eine synthetische Aufgabe mit null Oberflächenüberlappung, einen Test, der so gestaltet ist, dass keine positional-kopierende Erklärung das Verhalten erklären könnte. Beide Eigenschaften, so betont die Studie, erfordern entscheidend das Entfernen von RoPE, um beobachtet werden zu können – ohne das Herausnehmen dieser positionalen Kodierungsschicht bleibt das zugrunde liegende Ausrichtungssignal verborgen.
Leistungsverbesserungen über mehrere Modelle hinweg
Der Umfang der Tests hinter diesen Aussagen ist groß. Die Forschenden führten ihre Analyse über 24 Modelle mit 1,5 bis 72 Milliarden Parametern durch, darunter LLaMA-2, LLaMA-3, LLaMA-3.1, LLaMA-3.3, Qwen-2.5, Gemma, Phi-3.5 und DeepSeek-R1-Distill. Über diese Bandbreite hinweg übertraf der QK-Score eines einzelnen Heads durchweg die eigene Zero-Shot-Genauigkeit jedes Modells – um bis zu +27,4 Prozentpunkte auf dem HellaSwag-Benchmark und +49,8 Prozentpunkte auf HaluDialogue.
Diese zweite Zahl verdient eine kurze Pause. Ein Unterschied von fast 50 Punkten zwischen dem, was ein Modell ausgibt, und dem, was sein interner Attention-Head durch Query-Key-Ausrichtung „sagt“, ist eine erhebliche Lücke – groß genug, um darauf hinzuweisen, dass bei bestimmten Aufgaben der Engpass überhaupt nicht die Denkfähigkeit ist, sondern eher ein Problem der Ausgabe oder des Dekodierens.
Um zu bestätigen, dass diese Heads nicht nur mit korrekten Antworten korrelieren, sondern tatsächlich für deren Erzeugung verantwortlich sind, führten die Forschenden kausale Zero-Ablations-Experimente durch – sie deaktivierten die identifizierten Heads gezielt. Das Ergebnis: Die MCQA-Genauigkeit brach auf nahezu zufälliges Niveau ein, was ein starkes Indiz dafür ist, dass diese spezifischen Heads im Antwortauswahlprozess echte kausale Arbeit leisten und ihn nicht nur widerspiegeln.
Unüberwachter HeadScore und Reproduzierbarkeit
Die richtigen Heads zu finden, die untersucht werden sollen, erfordert typischerweise gelabelte Validierungsdaten, was die praktische Anwendbarkeit einer Methode außerhalb eines Forschungslabors einschränkt. Um dieses Problem zu lösen, führte das Team eine unüberwachte Methode namens HeadScore ein, die Attention-Heads ausschließlich anhand ungelabelter Eingaben bewertet. Obwohl HeadScore keinen Zugriff auf Ground-Truth-Labels hat, rekonstruierte es erfolgreich dieselben leistungsstärksten Heads, die auch mit dem überwachten Ansatz identifiziert wurden – und das bei jedem einzelnen getesteten Modell.
Die Studie ordnet den QK-Score außerdem neben bestehenden positionalen Entbiasing-Techniken wie PriDe, Wiegrefe und Wang ein, die darauf ausgelegt sind, die Tendenz von Modellen zu korrigieren, bestimmte Antwortpositionen unabhängig vom Inhalt zu bevorzugen. Das Paper stellt den QK-Score als komplementär statt konkurrierend zu diesen Baselines dar: Entbiasing-Methoden arbeiten, indem sie Output-Logits nachträglich neu gewichten, während der QK-Score die Auswahl des Modells direkt aus einem Head in einer mittleren Schicht ausliest, bevor überhaupt eine Dekodierung stattfindet. Dieser Unterschied – Eingriff auf der Ausgabestufe versus Auslesen des Signals vor dem Dekodieren – positioniert die beiden Ansätze als Werkzeuge, die prinzipiell gemeinsam eingesetzt werden könnten.
Zur Reproduzierbarkeit veröffentlichten die Forschenden ein einzeiliges, direkt einsetzbares HeadScore-Skript zusammen mit Head-Indizes pro Modell, sodass es möglich ist, jedes Ergebnis mit einem einzigen Befehl über alle 24 Modelle und vier Benchmarks, die in der Studie getestet wurden, zu reproduzieren.
Warum diese Forschungsrichtung wichtig ist
Mechanistische Interpretierbarkeitsarbeit wie diese zielt weniger darauf ab, einen besseren Chatbot zu bauen, als vielmehr darauf, zu verstehen, was tatsächlich in Systemen passiert, die bereits im großen Maßstab eingesetzt werden. Wenn die Auswahl von Attention-Heads Antworten offenlegen kann, die bei der Standarddekodierung übersehen werden, hat das Auswirkungen darauf, wie Evaluierungsbenchmarks interpretiert werden – ein Modell, das auf einer Rangliste schlecht abschneidet, könnte intern dennoch die richtige Antwort berechnen, sie aber nicht über die normale Generierung an die Oberfläche bringen.
Es eröffnet auch eine Tür zu effizienterer Modellprüfung. Ein unüberwachtes Werkzeug wie HeadScore bedeutet, dass Forschende, die die Auswahl von Attention-Heads untersuchen, keine kuratierten gelabelten Datensätze benötigen, um zu identifizieren, welche Teile eines Modells bei einer bestimmten Aufgabe die Hauptarbeit leisten – eine bedeutende praktische Abkürzung für alle, die Modellinterna untersuchen wollen, ohne für jede Architektur eigene Evaluierungssätze erstellen zu müssen.
Artikel erstellt mit Unterstützung künstlicher Intelligenz und von der Redaktion überprüft.




