Ein neuer akademischer Benchmark legt nahe, dass der von den heute beliebtesten KI-Coding-Agenten erzeugte Code zwar einwandfrei funktionieren kann – und dennoch gefährlich leicht zu hacken ist. Die Ergebnisse werfen neue Fragen zur Vibe-Coding-Sicherheit auf – also zur Praxis, große Sprachmodell-Agenten mit nur geringer menschlicher Aufsicht Software schreiben zu lassen –, just in dem Moment, in dem diese Technik bei Entwicklern und Unternehmen, die schneller vorankommen wollen, an Fahrt gewinnt.
Summary
Wichtigste Erkenntnisse
- Vibe Coding ermöglicht es einem LLM-Agenten, komplexe Programmieraufgaben nach einem einfachen menschlichen Prompt mit minimaler Aufsicht während der Ausführung zu erledigen.
- Forschende haben SUSVIBES entwickelt, einen Benchmark mit 186 realen Software-Engineering-Aufgaben aus Open-Source-Projekten, bei denen menschliche Programmierer zuvor verwundbaren Code eingecheckt hatten.
- Zwölf weit verbreitete agentische Coding-Setups mit Frontier-KI-Modellen wurden gegen den Benchmark getestet, und jedes einzelne schnitt in puncto Sicherheit schlecht ab.
- SWE-Agent in Kombination mit Claude 4 Sonnet erzeugte in 57 % der Fälle funktional korrekten Code, aber nur 11,8 % dieser Lösungen waren tatsächlich sicher.
- Das Hinzufügen von Hinweisen auf Verwundbarkeiten zu den Coding-Prompts – eine einfache Abmilderungsstrategie – konnte die Sicherheitsresultate nicht nennenswert verbessern.
Was ist Vibe Coding und warum nehmen die Sicherheitsbedenken zu?
Vibe Coding beschreibt einen Entwicklungsstil, bei dem Ingenieure eine Programmieraufgabe an einen KI-Agenten übergeben und ihn mit minimalen Zwischenkontrollen laufen lassen. Anstatt jede Zeile selbst zu schreiben, geben menschliche Programmierer dem Modell einen Prompt, prüfen die Ausgabe auf hoher Ebene und machen weiter. Der Ansatz hat sich durchgesetzt, weil er die Softwareauslieferung drastisch beschleunigen kann – insbesondere bei Feature-Anfragen, deren manuelle Umsetzung durch einen Entwickler sonst Stunden dauern würde.
Diese Geschwindigkeit hat jedoch ihren Haken. Da immer mehr Teams auf KI-Agenten setzen, um produktiven Code auszuliefern, wird die Frage, ob dieser Code tatsächlich sicher genug für den Einsatz ist, immer schwerer zu ignorieren. Eine Forscherin namens Danqing Wang machte sich daran, genau das zu testen, und entwickelte einen Benchmark, der nicht nur misst, ob von KI geschriebener Code funktioniert, sondern auch, ob er dieselben Arten von Schwachstellen einführt, die historisch bereits menschlichen Reviewern entgangen sind.
Einblick in den SUSVIBES-Benchmark
SUSVIBES beantwortet eine direkte Frage: Wie oft wiederholt von Agenten erzeugter Code die Sicherheitsfehler, die reale Entwickler bereits gemacht haben? Der Benchmark bezieht seine Testfälle direkt aus der Vergangenheit statt aus hypothetischen Szenarien.
Er besteht aus 186 Feature-Request-Aufgaben, die aus realen Open-Source-Projekten stammen. Jede Aufgabe entspricht einem Fall, in dem menschliche Programmierer irgendwann einmal eine verwundbare Implementierung eingecheckt hatten, während sie genau dieses Feature entwickelten. Dieses Design ermöglicht es den Forschenden zu prüfen, ob ein KI-Agent, der dasselbe Problem löst, in dieselbe Falle tappt oder es schafft, sie zu vermeiden.
Um das Feld breit zu Stresstests zu unterziehen, bewertete die Studie 12 weit verbreitete agentische Coding-Setups, die auf Frontier-KI-Modellen laufen. Die Idee war, eine realistische Momentaufnahme davon einzufangen, wie Entwickler diese Tools heute tatsächlich einsetzen, statt ein einzelnes Modell isoliert zu testen. Eine der Konfigurationen, die für eine genauere Analyse hervorstach, kombinierte das SWE-Agent-Framework mit Claude 4 Sonnet.
Funktional, aber nicht sicher: Die SUSVIBES-Ergebnisse
Das Hauptergebnis ist eindeutig: Jedes auf SUSVIBES getestete Agenten-Setup schnitt bei der Softwaresicherheit schlecht ab, unabhängig davon, welches Frontier-Modell es antrieb. Diese Einheitlichkeit ist an sich bemerkenswert – sie legt nahe, dass das Problem nicht an einem einzelnen schwachen Modell liegt, sondern an einer breiteren Lücke darin, wie diese Agenten trainiert und zum Schreiben von Code aufgefordert werden.
Die Kombination aus SWE-Agent und Claude 4 Sonnet verdeutlicht diese Lücke klar. Von den erzeugten Lösungen waren 57 % funktional korrekt, das heißt, sie erfüllten die Anforderungen der Feature-Anfrage. Doch als die Forschenden dieselben Lösungen mit bekannten Verwundbarkeitsmustern abglichen, waren nur 11,8 % sicher. Mit anderen Worten: Mehr als vier von fünf funktional korrekten Lösungen enthielten immer noch die Art von Schwachstelle, die ein menschlicher Programmierer an derselben Stelle zuvor eingeführt hatte.
Hier werden die praktischen Konsequenzen offensichtlich. Ein Stück Code, das läuft und Tests besteht, kann für einen Reviewer, der nur auf Funktionalität achtet, produktionsreif wirken, während es stillschweigend eine Verwundbarkeit mitliefert, die erst bei einem Sicherheitsaudit oder – schlimmer – bei einem tatsächlichen Angriff zutage tritt. Für Teams, die abwägen, wie viel Aufsicht KI-generierter Code weiterhin benötigt, ist diese Lücke zwischen Korrektheit und Sicherheit die entscheidende Kennzahl.
Hinweise auf Verwundbarkeiten lösen das Problem nicht
Die Forschenden beließen es nicht bei der Dokumentation des Problems – sie versuchten, es zu beheben. Eine erste Strategie bestand darin, die ursprüngliche Feature-Anfrage mit expliziten Hinweisen auf Verwundbarkeiten zu ergänzen, um den Agenten im Grunde auf die Art von Risiko hinzuweisen, auf die er achten sollte.
Das funktionierte nicht. Die Studie ergab, dass dieser Ansatz die Sicherheitsresultate nicht nennenswert verbesserte. Das bedeutet, dass es in der Praxis nicht ausreicht, dem Agenten einfach zu sagen, was er vermeiden soll. Dieses Ergebnis weist auf ein tiefer liegendes Problem als die Formulierung des Prompts hin: Die Modelle scheinen über keine verlässliche interne Kontrolle für Sicherheitsrisiken zu verfügen, selbst wenn sie explizit darauf hingewiesen werden.
In der Gesamtschau werfen die Ergebnisse ernsthafte Bedenken hinsichtlich des Einsatzes von Vibe Coding in sicherheitskritischen Anwendungen auf – von Finanzsystemen bis hin zu Infrastruktursoftware –, bei denen eine einzige übersehene Verwundbarkeit unverhältnismäßig große Folgen haben kann. Die Forschenden hinter SUSVIBES haben den Code und den Datensatz öffentlich auf GitHub verfügbar gemacht, zusammen mit einer öffentlichen Bestenliste, die nachverfolgt, wie verschiedene Agentenkonfigurationen künftig auf dem Benchmark abschneiden.
Für eine Branche, die im Eiltempo KI-Coding-Agenten einführt, ist die Studie weniger ein Urteil gegen die Technologie als eine Warnung davor, wo die aktuellen Leitplanken unzureichend sind. Funktionaler Code ist nicht dasselbe wie sicherer Code, und solange diese Lücke nicht kleiner wird, dürfte Vibe-Coding-Sicherheit ein Knackpunkt für jedes Team bleiben, das Software entwickelt, bei der die Kosten eines versteckten Fehlers hoch sind.
FAQ
Was ist Vibe Coding?
Vibe Coding ist ein Softwareentwicklungsansatz, bei dem Agenten großer Sprachmodelle Programmieraufgaben mit minimaler Aufsicht durch menschliche Ingenieure erledigen.
Was bewertet der SUSVIBES-Benchmark?
SUSVIBES ist ein Benchmark mit 186 realen Software-Engineering-Aufgaben mit bekannten Verwundbarkeiten, der zur Bewertung der Sicherheitsleistung von agentengeneriertem Code verwendet wird.
Wie sicher ist Code, der von aktuellen LLM-Agenten im Vibe Coding erzeugt wird?
Tests mit SWE-Agent und Claude 4 Sonnet zeigten, dass zwar 57 % des generierten Codes funktional korrekt sind, aber nur 11,8 % gegenüber Verwundbarkeiten sicher sind.
Verbessern Strategien wie das Hinzufügen von Hinweisen auf Verwundbarkeiten die Sicherheit im Vibe Coding?
Erste Versuche, etwa das Hinzufügen von Hinweisen auf Verwundbarkeiten, verbesserten die Sicherheitsleistung von agentengeneriertem Code nicht signifikant.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Was ist Vibe Coding?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Vibe Coding ist ein Softwareentwicklungsansatz, bei dem Agenten großer Sprachmodelle Programmieraufgaben mit minimaler Aufsicht durch menschliche Ingenieure erledigen.“}},{„@type“:“Question“,“name“:“Was bewertet der SUSVIBES-Benchmark?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“SUSVIBES ist ein Benchmark mit 186 realen Software-Engineering-Aufgaben mit bekannten Verwundbarkeiten, der zur Bewertung der Sicherheitsleistung von agentengeneriertem Code verwendet wird.“}},{„@type“:“Question“,“name“:“Wie sicher ist Code, der von aktuellen LLM-Agenten im Vibe Coding erzeugt wird?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Tests mit SWE-Agent und Claude 4 Sonnet zeigten, dass zwar 57% des generierten Codes funktional korrekt sind, aber nur 11,8% gegenüber Verwundbarkeiten sicher sind.“}},{„@type“:“Question“,“name“:“Verbessern Strategien wie das Hinzufügen von Hinweisen auf Verwundbarkeiten die Sicherheit im Vibe Coding?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Erste Versuche, etwa das Hinzufügen von Hinweisen auf Verwundbarkeiten, verbesserten die Sicherheitsleistung von agentengeneriertem Code nicht signifikant.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion überprüft.
