Zum Inhalt springen
  • BTC $55.914 −9,6%
  • ETH $1.555 −10,4%
  • SOL $65,71 −9,5%
  • BNB $512,86 −10,2%
  • XRP $0,8784 −8,8%
  • DOGE $0,0516 −9,9%
  • ADA $0,1354 −9,3%

CodeScan steigert die Sicherheit von Code-Generierungs-LLMs mit einer Erkennungsgenauigkeit von 97 %

Ein neues Forschungspapier, das auf der ACM CCS 2026 erscheinen soll, befasst sich mit einem Problem, das Softwareteams, die sich auf KI-Coding-Assistenten verlassen, schon länger leise beunruhigt: Was passiert, wenn das Modell selbst manipuliert wurde? Die Forscherin Shenao Yan hat CodeScan vorgestellt, ein Erkennungs-Framework, das speziell entwickelt wurde, um die Sicherheit von…

Dieser Artikel wurde mit Systemen der künstlichen Intelligenz erstellt und unter der redaktionellen Verantwortung von Amelia Tomasicchio veröffentlicht. So arbeiten wir

code generation LLM security
Code Generation LLM Security Enhanced by CodeScan Framework

Ein neues Forschungspapier, das auf der ACM CCS 2026 erscheinen soll, befasst sich mit einem Problem, das Softwareteams, die sich auf KI-Coding-Assistenten verlassen, schon länger leise beschäftigt: Was passiert, wenn das Modell selbst manipuliert wurde? Forscher Shenao Yan hat CodeScan vorgestellt, ein Erkennungs-Framework, das speziell entwickelt wurde, um die Sicherheit von Code-Generierungs-LLMs zu stärken, indem es Modelle aufspürt, die heimlich vergiftet wurden, um unsicheren Code zu erzeugen. Die im März eingereichte Arbeit argumentiert, dass aktuelle Abwehrmaßnahmen schlicht nicht dafür ausgelegt sind, wie sich Quellcode in der Praxis verhält.

Wichtigste Erkenntnisse

  • Code-Generierungs-LLMs können durch Backdoor- und Poisoning-Angriffe kompromittiert werden, die sie dazu bringen, auf Kommando unsicheren Code auszugeben.
  • Ältere Token-basierte Scanmethoden haben Schwierigkeiten, weil sich dieselbe Code-Logik in unzähligen unterschiedlichen syntaktischen Formen ausdrücken lässt.
  • CodeScan wird als das erste Black-Box-, verwundbarkeitsspezifische Scan-Framework zur Prüfung dieser Modelle beschrieben.
  • Es wurde an 117 Modellen über drei Architekturen hinweg getestet, gegen vier repräsentative Angriffe, die drei reale Verwundbarkeitsklassen abdecken.
  • Das Framework meldete eine Erkennungsgenauigkeit von über 97 % mit deutlich weniger Fehlalarmen als frühere Ansätze.

Verwundbarkeiten in Code-Generierungs-Large-Language-Models

Code-Generierungs-LLMs sind bereits fest im Alltag der Softwareentwicklung verankert, von Autovervollständigungsvorschlägen bis hin zur vollständigen Funktionsgenerierung. Diese Bequemlichkeit hat einen Haken: Laut dem Papier hat sich gezeigt, dass diese Modelle anfällig für Backdoor- und Poisoning-Angriffe sind, die sie dazu drängen, unsicheren Code zu erzeugen, und das Papier stellt fest, dass wirksame Abwehrmaßnahmen dagegen weiterhin begrenzt sind. In der Praxis könnte ein Angreifer Trainingsdaten oder das Modellverhalten so manipulieren, dass das Modell unter bestimmten Bedingungen unauffällig verwundbaren Code in ansonsten normale Ausgaben einschleust.

Backdoor- und Poisoning-Angriffe, die unsicheren Code erzeugen

Das Risiko ist hier kein theoretisches Rauschen – es ist ein dokumentierter Schwachpunkt. Sobald ein Modell vergiftet oder mit einer Backdoor versehen ist, kann es sich die meiste Zeit normal verhalten und dennoch einen versteckten Auslöser tragen, der bei Aktivierung fehlerhaften, ausnutzbaren Code erzeugt. Das macht die Bedrohung schwer erkennbar durch oberflächliche Tests, da das bösartige Verhalten nicht unbedingt sichtbar wird, solange nicht der richtige Prompt oder die richtige Bedingung auftritt.

Beschränkungen bestehender Token-basierter Scanmethoden

Warum haben bestehende Tools das nicht längst gelöst? Das Papier erklärt, dass frühere Scanansätze auf Token-Level-Generierungskonsistenz setzen, um zu versuchen, rückzuschließen, worauf ein Angreifer abzielte. Das funktioniert in einigen Domänen recht gut, aber Quellcode durchbricht diese Annahme: Identische Logik kann auf völlig unterschiedliche syntaktische Weise geschrieben werden. Zwei Snippets können exakt dasselbe tun und dabei auf Token-Ebene völlig unterschiedlich aussehen, was es bösartigen Mustern ermöglicht, an Erkennungssystemen vorbeizuschlüpfen, die Konsistenz in der Wortwahl statt in der Bedeutung erwarten.

CodeScan: Ein Black-Box-Framework für verwundbarkeitsorientiertes Scannen

CodeScan wird als erstes Black-Box-, verwundbarkeitsspezifisches Scan-Framework vorgestellt, das direkt zur Prüfung von Code-Generierungs-LLMs entwickelt wurde, ohne internen Zugriff auf Modellgewichte oder Trainingsdaten zu benötigen. Der Ansatz setzt voraus, dass ein Verteidiger bereits weiß, nach welchen Verwundbarkeitsklassen gesucht werden soll und passende Aufgabenprompts bereitstellen kann; anschließend übernimmt das Framework die strukturelle Detektivarbeit. Diese Designentscheidung ist für Black-Box-Verwundbarkeitsscans allgemein wichtig: Sie bedeutet, dass die Methode auf Modelle angewendet werden kann, die ein Verteidiger nicht vollständig kontrolliert oder intern versteht – was häufig die reale Situation für Teams ist, die Drittanbieter- oder extern gehostete Codemodelle einsetzen.

Strukturanalyse über mehrere Code-Generierungen hinweg

Anstatt rohe Tokens zu vergleichen, identifiziert CodeScan wahrscheinliche Angriffsziele, indem es strukturelle Ähnlichkeiten über mehrere Ausgaben hinweg analysiert, die aus unterschiedlichen sauberen Prompts generiert wurden. Wenn ein verdächtiges Strukturmuster immer wieder in ansonsten nicht zusammenhängenden Prompts auftaucht, wird diese Wiederholung zu einem Signal, das sich näher untersuchen lässt.

AST-basierte Normalisierung zur semantischen Vereinheitlichung

Um diesen Vergleich aussagekräftig zu machen, kombiniert CodeScan iterative Divergenzanalyse mit abstrakter Syntaxbaum- oder AST-basierter Normalisierung. Dieser Schritt entfernt oberflächliche Unterschiede in der Art, wie Code geschrieben ist, und vereinheitlicht Snippets, die semantisch gleichwertig sind, auch wenn sie auf der Seite unterschiedlich aussehen. Das Ergebnis ist eine Möglichkeit, Codestrukturen zu isolieren, die sich über Generationen hinweg konsistent wiederholen, anstatt sich von kosmetischen Variationen ablenken zu lassen – eine Lücke, die die Schwäche älterer Token-basierter Tools direkt adressiert.

LLM-basierte Verwundbarkeitsanalyse

Sobald eine wiederkehrende Struktur isoliert ist, wendet CodeScan eine LLM-basierte Verwundbarkeitsanalyse an, um zu beurteilen, ob diese Struktur tatsächlich einen Sicherheitsfehler enthält. Dies ist der Schritt, der ein Mustererkennungssignal in ein tatsächliches Sicherheitsurteil verwandelt und prüft, ob der wiederkehrende Code nicht nur häufig, sondern gefährlich ist.

Erkennungskriterien für kompromittierte Modelle

Die Regel, nach der ein Modell in diesem Framework als kompromittiert markiert wird, ist einfach: Wenn über diese Pipeline eine verwundbare Codestruktur erkannt wird, markiert CodeScan das Modell als kompromittiert. Das gibt Verteidigern ein klares, binäres Signal statt eines vagen Risikoscores, was wichtig ist, wenn Entscheidungen über den Einsatz oder die Ausmusterung eines Modells schnell getroffen werden müssen.

Bewertung und Leistung von CodeScan

Der eigentliche Test für CodeScan bestand darin, es in großem Maßstab gegen bekannte Angriffsmethoden einzusetzen, und die berichteten Ergebnisse deuten darauf hin, dass der Ansatz weit über eine enge Labordemonstration hinaus Bestand hat. Das Framework wurde gegen vier repräsentative Angriffe evaluiert, die sowohl Backdoor- als auch Poisoning-Angriffssettings abdecken, und zwar über drei reale Verwundbarkeitsklassen hinweg.

Benchmarking gegen repräsentative Angriffe und Verwundbarkeitsklassen

Tests über vier unterschiedliche Angriffstypen und drei separate Verwundbarkeitsklassen verleihen der Bewertung eine gewisse Breite, da sie verschiedene Wege abdecken, auf denen ein Angreifer versuchen könnte, die Ausgabe eines Modells zu korrumpieren, anstatt sich auf ein einziges Angriffsszenario zu stützen.

Umfangreiche Tests auf diversen Modellen und Architekturen

Der Umfang der Tests ist bemerkenswert: Die Experimente umfassten 117 Modelle über drei verschiedene Architekturen und mehrere Modellgrößen hinweg. Diese Bandbreite ist für die Forschung zur Sicherheit von Code-Generierungs-LLMs allgemein wichtig, da eine Erkennungsmethode, die nur bei einer Architektur oder einer Modellgröße funktioniert, für Teams mit unterschiedlichen Tools und Anbietern nur begrenzten praktischen Nutzen bietet.

Hohe Erkennungsgenauigkeit mit reduzierten Fehlalarmen

Die zentrale Kennzahl aus der Evaluation ist eine Erkennungsgenauigkeit von über 97 %, kombiniert mit deutlich weniger Fehlalarmen als frühere Methoden erzeugten. In der Erkennung von Datenvergiftungen sind Fehlalarme eine eigene Art von Kosten – das Markieren sauberer Modelle als kompromittiert untergräbt das Vertrauen in das Tool und verschwendet Prüfzeit. Eine Methode, die die Genauigkeit hoch hält und gleichzeitig diese Fehlalarme reduziert, ist mindestens ebenso wichtig wie die reine Erkennungsrate.

Warum dieser Ansatz für die Zukunft wichtig ist

Das größere Bild betrifft die Frage, wohin sich die Forschung zur Sicherheit von Code-Generierungs-LLMs als Nächstes entwickeln muss. Token-Level-Scanning ergab Sinn, als die Hauptsorge darin bestand, dass Modelle auswendig gelernte Phrasen wiederholen, aber Code funktioniert nicht so – dieselbe Funktion kann in Dutzenden legitimer Formen ausgedrückt werden. Indem der Fokus auf strukturelle und semantische Muster verlagert wird, die an bestimmte Verwundbarkeitsklassen gebunden sind, weist CodeScan auf eine stärker code-native Denkweise für Black-Box-Verwundbarkeitsscans hin, die Quellcode als zu verstehende Logik behandelt, statt als Text, der per Musterabgleich geprüft wird.

Allerdings hängt das Framework davon ab, dass ein Verteidiger bereits weiß, nach welchen Verwundbarkeitsklassen gesucht werden soll und die richtigen Prompts bereitstellt. Das bedeutet, es ist ein zielgerichtetes Audit-Tool und kein vollständig automatischer Scanner, der alles abfängt. Ob sich dieser verwundbarkeitsorientierte Ansatz als Standard-Schritt bei der Prüfung von Drittanbieter- und Open-Source-Codemodellen etabliert, wird wahrscheinlich davon abhängen, wie gut er sich verallgemeinern lässt, sobald mehr Forschungsteams ihn außerhalb der in diesem Papier beschriebenen Bedingungen testen.

FAQ

Warum sind bestehende Token-basierte Scanmethoden für die Erkennung von Angriffen in Code-Generierungs-LLMs unwirksam?

Weil syntaktisch unterschiedlicher Code identische Semantik haben kann, versagt die Token-Level-Konsistenzprüfung bei der zuverlässigen Erkennung von Angriffen.

Wie erkennt CodeScan kompromittierte Code-Generierungs-LLMs?

CodeScan analysiert strukturelle Ähnlichkeiten über mehrere Codeausgaben hinweg, die mit unterschiedlichen sauberen Prompts generiert wurden, verwendet AST-Normalisierung zur Vereinheitlichung der Semantik und setzt LLM-basierte Verwundbarkeitsanalyse ein, um Verwundbarkeiten zu markieren.

Welchen Umfang an Angriffen und Verwundbarkeiten deckten die Tests von CodeScan ab?

CodeScan wurde gegen vier repräsentative Backdoor- und Poisoning-Angriffe getestet, die drei reale Verwundbarkeitsklassen abdecken.

Wie genau ist CodeScan im Vergleich zu früheren Erkennungsmethoden?

CodeScan erreichte eine Erkennungsgenauigkeit von über 97 % mit deutlich weniger Fehlalarmen als frühere Methoden.

{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Warum sind bestehende Token-basierte Scanmethoden für die Erkennung von Angriffen in Code-Generierungs-LLMs unwirksam?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Weil syntaktisch unterschiedlicher Code identische Semantik haben kann, versagt die Token-Level-Konsistenzprüfung bei der zuverlässigen Erkennung von Angriffen.“}},{„@type“:“Question“,“name“:“Wie erkennt CodeScan kompromittierte Code-Generierungs-LLMs?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“CodeScan analysiert strukturelle Ähnlichkeiten über mehrere Codeausgaben hinweg, die mit unterschiedlichen sauberen Prompts generiert wurden, verwendet AST-Normalisierung zur Vereinheitlichung der Semantik und setzt LLM-basierte Verwundbarkeitsanalyse ein, um Verwundbarkeiten zu markieren.“}},{„@type“:“Question“,“name“:“Welchen Umfang an Angriffen und Verwundbarkeiten deckten die Tests von CodeScan ab?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“CodeScan wurde gegen vier repräsentative Backdoor- und Poisoning-Angriffe getestet, die drei reale Verwundbarkeitsklassen abdecken.“}},{„@type“:“Question“,“name“:“Wie genau ist CodeScan im Vergleich zu früheren Erkennungsmethoden?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“CodeScan erreichte eine Erkennungsgenauigkeit von über 97 % mit deutlich weniger Fehlalarmen als frühere Methoden.“}}]}

Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.

Satoshi Voice

Dieser Artikel wurde mit Hilfe von künstlicher Intelligenz erstellt und von unserem Journalistenteam überprüft, um Genauigkeit und Qualität zu gewährleisten.

Alle Artikel von Satoshi Voice