Sicherheitsforscher hoffen seit Langem, dass Agenten mit großen Sprachmodellen einen der mühsamsten Teile der Incident Response beschleunigen können: das Schritt-für-Schritt-Zusammenfügen, wie sich ein Angreifer durch ein System bewegt hat, anhand verstreuter Protokolle und Telemetriedaten. Ein neuer diagnostischer Benchmark namens DiagChain stellt diese Hoffnung auf die Probe, und die Ergebnisse deuten darauf hin, dass die Technologie noch einen langen Weg vor sich hat, bevor sie Attack-Chain-Rekonstruktion zuverlässig eigenständig bewältigen kann.
DiagChain wurde von einem Team von Forschern entwickelt, darunter Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan und Xibin Zhao. DiagChain ist nicht nur eine weitere Genauigkeitsrangliste. Es wurde speziell dafür entwickelt zu zeigen, wo und warum LLM-Agenten scheitern, wenn sie versuchen, die geordnete Abfolge von Aktionen zu rekonstruieren, die ein Angreifer durchgeführt hat, basierend auf Belegen aus der Systemtelemetrie.
Summary
Wichtigste Erkenntnisse
- DiagChain ist ein diagnostischer Benchmark, der LLM-Agenten bei evidenzbasierter Attack-Chain-Rekonstruktion bewertet und über einfache Bestehen/Nichtbestehen-Genauigkeit hinausgeht.
- Die MAIN-69-Suite des Benchmarks umfasst 69 Szenarien, die mehrere Betriebssysteme, unterschiedliche Rauschpegel in den Belegen und verschiedene Kettenlängen abdecken.
- Eine neue Methode namens ECRAG kombiniert Evidence Retrieval mit einer sich entwickelnden strukturierten Darstellung der rekonstruierten Kette.
- Über 6 getestete LLMs hinweg erreichte die beste Konfiguration nur bei 39,6 % von 849 Referenzschritten Erfolg.
- Kleinere Modelle haben Schwierigkeiten, die abgerufenen Belege überhaupt zu nutzen, während größere Modelle vor allem damit kämpfen, diese Belege in die richtige Reihenfolge zu bringen.
Einführung von DiagChain: Ein neuer Benchmark für Attack-Chain-Rekonstruktion
DiagChain existiert, weil die meisten bestehenden Benchmarks nur die Endausgaben oder Gesamtgenauigkeit betrachten und wenig Einblick darin bieten, wie Fehler im Denkprozess eines Agenten tatsächlich entstehen. Das ist eine bedeutende Lücke für Cybersicherheitsteams, die entscheiden müssen, ob ein KI-Agent vertrauenswürdig genug ist, um bei der Triage eines realen Einbruchs zu helfen.
Zweck und Umfang von DiagChain
Im Kern ist DiagChain ein diagnostischer Benchmark, der für evidenzbasierte Cybersicherheitsaufgaben entwickelt wurde. Anstatt nur zu bewerten, ob ein Agent die finale Angriffsdarstellung richtig oder falsch hat, bewertet er jede Phase des Rekonstruktionsprozesses separat. Dieser phasenweise Ansatz ermöglicht es Forschern, genau zu bestimmen, wo das Denken eines LLM-Agenten zusammenbricht – sei es bei der Belegsammlung, der Beleginterpretation oder der Anordnung der Ereignisse zu einer kohärenten Kette.
Zusammensetzung der MAIN-69-Szenario-Suite
Das Herzstück des Benchmarks ist MAIN-69, eine Suite von 69 Szenarien, die Agenten unter einer Reihe realistischer Bedingungen einem Stresstest unterzieht. Diese Szenarien umfassen mehrere Betriebssysteme, variieren darin, wie viel Rauschen in die Belege gemischt ist, und unterscheiden sich in der Kettenlänge, was bedeutet, dass einige Angriffssequenzen kurz sind, während andere das Verfolgen einer längeren Reihe von Angreiferaktionen erfordern. Diese Vielfalt soll aufzeigen, ob die Leistung eines Agenten auch dann stabil bleibt, wenn die Bedingungen unübersichtlicher werden – und nicht nur, wenn alles sauber und unkompliziert ist.
Methodische Neuerungen und Bewertungsmetriken
Über die Szenario-Suite hinaus führt DiagChain eine eigene Retrieval-Methode und ein fünfteiliges Bewertungssystem ein, die beide darauf abzielen, Fehlerdiagnosen systematisch statt spekulativ zu machen.
Evidence-Centric Retrieval-Augmented Generation (ECRAG)
Einer der wichtigsten Beiträge der Arbeit ist ECRAG, kurz für Evidence-Centric Retrieval-Augmented Generation. Anders als bei Standard-Setups für Retrieval-Augmented Generation koppelt ECRAG das Abrufen von Belegen mit einer sich entwickelnden strukturierten Darstellung der Kette, die der Agent zu rekonstruieren versucht. Praktisch bedeutet das, dass das System nicht einfach einmal relevante Belege abruft und dann fortfährt; es aktualisiert sein internes Bild der Angriffskette kontinuierlich, sobald neue Belege hinzukommen. Das sollte theoretisch dabei helfen, dass Agenten komplexe, mehrstufige Einbrüche kohärenter nachverfolgen können.
Fünf komplementäre Metriken für die diagnostische Bewertung
Um zu verstehen, wo etwas schiefgeht, stützt sich DiagChain auf fünf komplementäre Metriken, die jeweils auf eine bestimmte Phase des Rekonstruktionsprozesses abzielen. Zusammen ermöglichen diese Metriken es Forschern, spezifische Fehlerpunkte zu isolieren, anstatt jeden Fehler in einer generischen Genauigkeitszahl zusammenzufassen. Das ist zentral für den Wert des Benchmarks: Eine diagnostische Bewertung, die „Der Agent hat die richtigen Belege nicht gefunden“ von „Der Agent hat die Belege gefunden, aber die Ereignisse in die falsche Reihenfolge gebracht“ trennt, ist für die Verbesserung dieser Systeme weitaus nützlicher als eine einzelne Bestehen/Nichtbestehen-Kennzahl.
Leistungsbewertung großer Sprachmodelle
Wie haben die heutigen Modelle tatsächlich abgeschnitten? Laut den Ergebnissen des Benchmarks nicht besonders gut.
Experimenteller Aufbau mit sechs LLMs
Das Forschungsteam führte Bewertungen mit sechs verschiedenen LLMs anhand der MAIN-69-Szenarien durch. Dieser Aufbau ermöglichte es ihnen zu vergleichen, wie Modelle mit unterschiedlicher Leistungsfähigkeit dieselben evidenzbasierten Rekonstruktionsaufgaben unter denselben Rauschbedingungen und Kettenlängen-Herausforderungen bewältigten, was eine konsistente Grundlage für Leistungsvergleiche über alle Modelle hinweg bot.
Zentrale Leistungsresultate und Erfolgsraten
Die zentrale Kennzahl ist deutlich: Selbst die bestabschneidende Konfiguration in der Studie war nur bei 39,6 % der 849 Referenzschritte in MAIN-69 erfolgreich. Anders ausgedrückt: Das stärkste getestete Setup lag bei der Sequenz der Angreiferaktionen in über 60 % der Fälle falsch, gemessen an den Ground-Truth-Schritten des Benchmarks. Das ist ein bedeutender Realitätscheck für alle, die hoffen, die Attack-Chain-Rekonstruktion derzeit vollständig einem KI-Agenten zu überlassen.
Erkenntnisse zu Modellgröße und Rekonstruktionsherausforderungen
Warum ist das über die reinen Zahlen hinaus wichtig? Weil sich die Fehlermuster je nach Modellgröße unterscheiden – und dieser Unterschied auf zwei sehr verschiedene technische Probleme hinweist, die gelöst werden müssen.
Beschränkungen kleinerer Modelle
Nach der Analyse der Forscher kämpfen kleinere Modelle mit etwas Grundlegenderem als der korrekten Reihenfolge von Ereignissen: Sie haben Schwierigkeiten, die abgerufenen Belege überhaupt in ihre Ausgaben zu integrieren. Das deutet darauf hin, dass der Engpass bei kleineren Modellen früher in der Pipeline liegt – an dem Punkt, an dem Belege das Denken des Agenten tatsächlich beeinflussen müssen, statt ignoriert oder falsch angewendet zu werden.
Herausforderungen größerer Modelle bei der Belegreihenfolge
Größere Modelle überwinden diese erste Hürde erfolgreicher und kommen im Rekonstruktionsprozess weiter. Sie stoßen jedoch auf eine andere Barriere: Die korrekte Anordnung der gesammelten Belege wird zum Hauptengpass. Dies ist eine subtilere Fehlermodellierung, da das Modell die richtigen Puzzleteile besitzt, aber Schwierigkeiten hat, sie in die korrekte Sequenz von Angreiferaktionen zu bringen – genau jene Ausgabe, die für eine reale Sicherheitsuntersuchung am wichtigsten ist.
Diese Aufspaltung ist für alle relevant, die LLM-Evaluations-Benchmark-Tools in Security Operations entwickeln oder einsetzen. Sie impliziert, dass das bloße Hochskalieren der Modellgröße die Attack-Chain-Rekonstruktion nicht automatisch löst. Die beiden Fehlermodi erfordern unterschiedliche Ansätze: bessere Belegintegration für kleinere Modelle und bessere Sequenzierungs- oder Reasoning-Strategien für größere Modelle – statt eines einheitlichen Verbesserungswegs.
Die Forscher interpretieren diese Ergebnisse als Bestätigung für diagnostische Bewertungen gegenüber einfachen End-to-End-Genauigkeitswerten. Eine einzelne aggregierte Zahl könnte einem Sicherheitsteam sagen, dass ein Modell „in 40 % der Fälle richtig liegt“, würde aber nicht verraten, ob das Versagen auf fehlende Belege, falsch interpretierte Belege oder durcheinandergeratene Sequenzen zurückzuführen ist. Die phasenweisen Metriken von DiagChain sollen diese Lücke schließen und bieten nach Darstellung der Autoren umsetzbare Erkenntnisse zur Verbesserung evidenzbasierter Cybersicherheitsagenten in der Zukunft.
FAQ
Wozu wurde DiagChain entwickelt?
DiagChain wurde entwickelt, um Agenten mit großen Sprachmodellen anhand einer diagnostischen, phasenweisen Bewertung bei evidenzbasierter Attack-Chain-Rekonstruktion zu evaluieren.
Welche Inhalte deckt die MAIN-69-Szenario-Suite ab?
MAIN-69 umfasst 69 Szenarien, die mehrere Betriebssysteme, unterschiedliche Rauschpegel in den Belegen und verschiedene Längen von Angriffsketten abdecken.
Wie verbessert die ECRAG-Methodik die Attack-Chain-Rekonstruktion?
ECRAG koppelt das Abrufen von Belegen mit einer sich entwickelnden strukturierten Darstellung der rekonstruierten Kette, um bei der Kettenanalyse zu unterstützen.
Was sind die wichtigsten Leistungsherausforderungen für LLMs in diesem Benchmark?
Kleinere Modelle haben Schwierigkeiten, abgerufene Belege zu integrieren, während größere Modelle vor allem damit kämpfen, Belege in der Rekonstruktion korrekt zu ordnen.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Wozu wurde DiagChain entwickelt?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“DiagChain wurde entwickelt, um Agenten mit großen Sprachmodellen anhand einer diagnostischen, phasenweisen Bewertung bei evidenzbasierter Attack-Chain-Rekonstruktion zu evaluieren.“}},{„@type“:“Question“,“name“:“Welche Inhalte deckt die MAIN-69-Szenario-Suite ab?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“MAIN-69 umfasst 69 Szenarien, die mehrere Betriebssysteme, unterschiedliche Rauschpegel in den Belegen und verschiedene Längen von Angriffsketten abdecken.“}},{„@type“:“Question“,“name“:“Wie verbessert die ECRAG-Methodik die Attack-Chain-Rekonstruktion?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“ECRAG koppelt das Abrufen von Belegen mit einer sich entwickelnden strukturierten Darstellung der rekonstruierten Kette, um bei der Kettenanalyse zu unterstützen.“}},{„@type“:“Question“,“name“:“Was sind die wichtigsten Leistungsherausforderungen für LLMs in diesem Benchmark?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Kleinere Modelle haben Schwierigkeiten, abgerufene Belege zu integrieren, während größere Modelle vor allem damit kämpfen, Belege in der Rekonstruktion korrekt zu ordnen.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
