Sicherheitsforscher haben eine neue Ressource vorgestellt, mit der sich nachverfolgen lässt, wie KI-Agenten in freier Wildbahn ausgenutzt werden. Sie heißt SkillAtlas und fungiert als gehostete Angriffs-Trace-Bibliothek, die speziell für Agenten-Skills entwickelt wurde – die wiederverwendbaren Bausteine, die Sprachmodell-Agenten antreiben. Das Projekt, beschrieben in einem Paper der Forschenden Yuxin Tian, Zenghao Duan, Liang Pang, Zhiyi Yin und Xueqi Cheng, geht ein Problem an, das still mit dem Aufstieg autonomer KI-Systeme gewachsen ist: genau herauszufinden, wie diese Agenten unter Angriffen scheitern – nicht nur, ob sie scheitern.
Inhalt
Wichtigste Erkenntnisse
- SkillAtlas ist eine gehostete Angriffs-Trace-Bibliothek, die private Sicherheitsberichte zu Agenten-Skills in geprüfte, geschwärzte und öffentlich durchsuchbare Fälle umwandelt.
- Die Bibliothek enthält derzeit 3.014 Fälle, 6.589 Traces, 151.131 Schritte, 233 betroffene Skills und 8 Risikokategorien.
- 42,5 % der erfolgreichen Angriffsfälle sind nur nach einem anfänglichen Fehlversuch erfolgreich, was zeigt, dass viele Exploits mehr als einen Versuch benötigen.
- Mit trajectory-grounded Labels erhöht SkillAtlas die Genauigkeit von Pre-Execution-Guards auf 0,770.
- Risiken im Zusammenhang mit Agenten-Skills entstehen aus Modellentscheidungen, Nutzerkontext, Tool-Aufrufen und Ausführungs-Feedback statt aus festen Signaturen oder einem einzigen Sandbox-Test.
Was SkillAtlas ist und warum sich Risiken von Agenten-Skills anders verhalten
SkillAtlas lässt sich am besten als dokumentierte Karte verstehen, wie KI-Agenten hereingelegt werden – nicht als statische Blacklist bekannter Bedrohungen. Agenten-Skills, die modularen Fähigkeiten, mit denen Sprachmodell-Agenten Aufgaben ausführen, scheitern nicht in der gleichen vorhersehbaren Weise wie herkömmliche Software-Schwachstellen. Laut den Forschenden hinter dem Projekt entsteht die Gefahr in diesen Skills durch eine Mischung aus Modellentscheidungen, dem vom Nutzer bereitgestellten Kontext, den Tool-Aufrufen eines Agenten und dem Feedback, das er während der Ausführung erhält.
Diese Kombination ist wichtig, weil sie bedeutet, dass kein einzelner Testlauf ein Problem zuverlässig erkennen kann. Ein Skill kann sich in einem Szenario sicher verhalten und in einem anderen auseinanderfallen – je nachdem, wie sich das Gespräch entwickelt oder welche Tools unterwegs ausgelöst werden. Genau diese Lücke will SkillAtlas schließen, indem es reales Angriffsverhalten katalogisiert, statt sich auf statische Signaturen zu stützen, die davon ausgehen, dass Bedrohungen jedes Mal gleich aussehen.
Private Sicherheitsberichte in eine öffentliche Bibliothek verwandeln
Bevor es SkillAtlas gab, lagen diese Informationen größtenteils in privaten Bündeln von Sicherheitsberichten, die nur von wenigen Teams gesehen und selten über interne Kanäle hinaus geteilt wurden. SkillAtlas ändert das, indem es diese Bündel nimmt und sie in geprüfte, geschwärzte und öffentlich durchsuchbare Fälle umwandelt. Sensible Details werden im Prüfprozess entfernt, aber die zugrunde liegende Angriffsstruktur bleibt für alle erhalten, die die Sicherheit von Agenten-Skills untersuchen.
Die entstehende Angriffs-Trace-Bibliothek ist kein kleiner Datenausschnitt. Aktuell umfasst SkillAtlas 3.014 Fälle, verteilt auf 6.589 Traces, die sich zu 151.131 aufgezeichneten Schritten summieren. Diese Fälle betreffen 233 unterschiedliche betroffene Skills und sind in 8 separate Risikokategorien gegliedert, was Forschenden eine strukturierte Möglichkeit gibt, Muster über ein breites Spektrum von Exploit-Typen hinweg zu untersuchen, statt nur isolierte Vorfälle zu betrachten.
Warum ist dieser Umfang wichtig? Weil die Sicherheit von Agenten-Skills historisch unter fragmentierter, isolierter Berichterstattung gelitten hat. Wenn ein Team einen neuartigen Exploit entdeckt, bleibt dieses Wissen oft in den internen Systemen eines einzelnen Unternehmens eingeschlossen. Eine gemeinsame, durchsuchbare Bibliothek von SkillAtlas-Fällen bietet der breiteren Forschungsgemeinschaft einen gemeinsamen Referenzpunkt – genau die Art von Infrastruktur, die defensive Forschung in der Regel beschleunigt, sobald sie verfügbar ist.
Wichtige Kennzahlen: Muster des Angriffserfolgs und Guard-Genauigkeit
Über seine Größe hinaus zeigt die in SkillAtlas enthaltene Datenbasis, wie sich diese Angriffe im Zeitverlauf tatsächlich entfalten. Die Forschenden stellten fest, dass 42,5 % der erfolgreichen Angriffsfälle erst nach einer anfänglichen, fehlgeschlagenen Runde erfolgreich wurden. Mit anderen Worten: Fast die Hälfte der Exploits, die schließlich funktionierten, funktionierten nicht beim ersten Versuch. Dieses Detail untergräbt die Annahme, dass Angriffe auf Agenten-Skills typischerweise One-Shot-Ereignisse sind; vielmehr scheinen viele iterativ zu verlaufen, wobei Angreifer oder adversarielle Prompts sich nach einem frühen Fehlschlag anpassen.
Dieses Muster hat direkte Auswirkungen auf die Verteidigung. Wenn ein relevanter Anteil erfolgreicher Angriffe einen zweiten oder späteren Versuch benötigt, laufen Systeme, die nur die erste Interaktion bewerten, Gefahr, Bedrohungen zu übersehen, die sich erst durch wiederholtes Sondieren zeigen. Dies ist die Art von Erkenntnis, die ohne einen großen, sequenzierten Datensatz wie den von SkillAtlas schwer zu gewinnen ist.
Auf der Verteidigungsseite berichtet das Paper von einer konkreten Verbesserung, die an diesen Datensatz geknüpft ist: Durch die Verwendung von trajectory-grounded Labels – also Labels, die aus der vollständigen Abfolge der Aktionen eines Agenten statt aus einem einzelnen Schnappschuss abgeleitet werden – verbessert SkillAtlas die Genauigkeit von Pre-Execution-Guards auf 0,770. Pre-Execution-Guards sind die Prüfungen, die riskantes Verhalten erkennen sollen, bevor ein Skill tatsächlich ausgeführt wird. Ihre Genauigkeit zu erhöhen, wirkt sich direkt darauf aus, wie viele schädliche Ausführungen gestoppt werden, bevor sie Schaden anrichten.
In der Gesamtschau deuten diese Zahlen darauf hin, dass die Behandlung von Risiken bei Agenten-Skills als bewegliches Ziel – statt als feste Menge bekannter schlechter Muster – zu messbar besserer Erkennung führt. Das ist ein bedeutendes Signal für alle, die Sprachmodell-Agenten im großen Maßstab aufbauen oder prüfen, da es auf Trajektorien-basierte Analysen als verlässlichere Grundlage als statische Regelprüfungen hinweist.
FAQ
Was ist SkillAtlas?
SkillAtlas ist eine gehostete Angriffs-Trace-Bibliothek für Agenten-Skills, die in Sprachmodell-Agenten eingesetzt werden. Sie wandelt private Sicherheitsberichte in geprüfte, geschwärzte und öffentliche Fälle um, durch die alle, die die Sicherheit von Agenten-Skills untersuchen, suchen können.
Welche Arten von Daten enthält SkillAtlas?
Es enthält 3.014 Fälle, 6.589 Traces, 151.131 Schritte, 233 betroffene Skills und 8 Risikokategorien und dokumentiert ein breites Spektrum von Angriffsszenarien gegen Agenten-Skills.
Wie verbessert SkillAtlas die Sicherheit von Agenten-Skills?
Durch die Nutzung von trajectory-grounded Labels verbessert SkillAtlas die Genauigkeit von Pre-Execution-Guards auf 0,770, was die Erkennung riskanter Ausführungen stärkt, bevor sie laufen.
Warum sind Risiken von Agenten-Skills komplex zu analysieren?
Risiken entstehen dynamisch aus Modellentscheidungen, Nutzerkontext, Tool-Aufrufen und Ausführungs-Feedback statt aus statischen Signaturen oder einem einzigen Sandbox-Test, was einmalige Bewertungen unzuverlässig macht, um sie zu erkennen.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Was ist SkillAtlas?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“SkillAtlas ist eine gehostete Angriffs-Trace-Bibliothek für Agenten-Skills, die in Sprachmodell-Agenten eingesetzt werden. Sie wandelt private Sicherheitsberichte in geprüfte, geschwärzte und öffentliche Fälle um, durch die alle, die die Sicherheit von Agenten-Skills untersuchen, suchen können.“}},{„@type“:“Question“,“name“:“Welche Arten von Daten enthält SkillAtlas?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Es enthält 3.014 Fälle, 6.589 Traces, 151.131 Schritte, 233 betroffene Skills und 8 Risikokategorien und dokumentiert ein breites Spektrum von Angriffsszenarien gegen Agenten-Skills.“}},{„@type“:“Question“,“name“:“Wie verbessert SkillAtlas die Sicherheit von Agenten-Skills?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Durch die Nutzung von trajectory-grounded Labels verbessert SkillAtlas die Genauigkeit von Pre-Execution-Guards auf 0,770, was die Erkennung riskanter Ausführungen stärkt, bevor sie laufen.“}},{„@type“:“Question“,“name“:“Warum sind Risiken von Agenten-Skills komplex zu analysieren?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“Risiken entstehen dynamisch aus Modellentscheidungen, Nutzerkontext, Tool-Aufrufen und Ausführungs-Feedback statt aus statischen Signaturen oder einem einzigen Sandbox-Test, was einmalige Bewertungen unzuverlässig macht, um sie zu erkennen.“}}]}
Artikel mit Unterstützung künstlicher Intelligenz erstellt und von der Redaktion geprüft.




