Eine neue Studie zeigt, dass die Art und Weise, wie Modelle der künstlichen Intelligenz auf Ihrem Bildschirm klicken, gegen sie selbst verwendet werden könnte. Forschende haben eine bislang übersehene Schwachstelle in der Art und Weise entdeckt, wie GUI-Visual-Grounding-Modelle – die KI-Systeme, die Anweisungen auf dem Bildschirm in tatsächliche Klicks übersetzen – Koordinaten erzeugen, und sie haben einen funktionierenden Exploit namens MissClick entwickelt, um dies zu beweisen. Die Ergebnisse, veröffentlicht von der Forscherin Yu Ran, decken eine neue Kategorie von adversarialen Angriffen auf GUI-Modelle auf, denen diese ausgesetzt sind, während sie zunehmend zur Automatisierung von Aufgaben auf Desktop-, Web- und Mobil-Plattformen eingesetzt werden.
Summary
Wichtigste Erkenntnisse
- GUI-Visual-Grounding-Modelle erzeugen Bildschirmklick-Koordinaten als Sequenzen von Ziffern-Token, nicht als rohe Zahlen.
- Eine Änderung einer einzelnen Ziffer an einer hohen Stellenwertposition, etwa der Hunderterstelle, kann einen Klick auf dem Bildschirm um 100 Einheiten verschieben.
- MissClick ist ein White-Box-Angriff mit zwei Varianten: MissClick-U für ungezielte Störung und MissClick-T für gezielte Übernahme.
- MissClick-U erreichte ungezielte Erfolgsraten von 75,07 % auf OS-Atlas und 72,93 % auf UGround.
- MissClick-T erreichte gezielte Erfolgsraten von 44,86 % auf OS-Atlas und 62,67 % auf UGround.
Wie GUI-Visual-Grounding-Modelle Koordinaten erzeugen
GUI-Visual-Grounding-Modelle sagen voraus, wo geklickt werden soll, indem sie Ausgabeziffern Ziffer für Ziffer erzeugen, anstatt direkte numerische Koordinaten auszugeben, und diese scheinbar kleine Designentscheidung hat tatsächlich spürbare Sicherheitsfolgen. Laut der Forschung wurden diese Modelle nie mit Blick auf eine Widerstandsfähigkeit gegen Manipulation auf Ziffernebene entwickelt – genau diese Lücke nutzt MissClick aus.
Digitalisierte (digit-serialisierte) Koordinatenvorhersage
Anstatt eine X-Y-Koordinate als einzelne Zahl auszugeben, erzeugen diese Modelle sie als Sequenz von einzelnen Ziffern-Token, die anschließend in einen nutzbaren numerischen Wert geparst werden, der einem tatsächlichen Punkt auf dem Bildschirm zugeordnet ist. Jedes Ziffern-Token wird vom Modell im Wesentlichen als kategoriale Auswahl behandelt, ähnlich wie die Auswahl eines Wortes aus einem Vokabular, statt als Teil einer kontinuierlichen Zahl.
Auswirkung des Stellenwerts von Ziffern auf die Koordinatenverschiebung
Dieser Unterschied ist enorm wichtig, sobald die Ziffern wieder in Zahlen zurückverwandelt werden. Die Studie ergab, dass die Änderung einer Ziffer an der Hunderterstelle um nur einen Wert die entsprechende Koordinatenkomponente um 100 Einheiten verschieben kann, sobald sie in eine Bildschirmposition umgerechnet wird. Praktisch bedeutet das: Eine winzige, fast unsichtbare Änderung an einem einzigen Token kann einen Klick weit von seinem eigentlichen Ziel abdriften lassen – eine Inkonsistenz zwischen der Art und Weise, wie das Modell über Ziffern „denkt“, und dem Verhalten dieser Ziffern, sobald sie in reale Pixel umgesetzt werden.
MissClick: Adversariale Angriffe auf GUI-Grounding-Modelle
Aufbauend auf dieser Entdeckung stellt die Forscherin MissClick vor, einen White-Box-adversarialen Angriff, der darauf ausgelegt ist, die Diskrepanz zwischen kategorialer Ziffernvorhersage und numerischer Koordinatenausgabe auszunutzen. Anders als generische adversariale Angriffe, denen GUI-Modelle bisher ausgesetzt waren, ist MissClick speziell auf die Stellenwertstruktur digitalisierter Koordinaten zugeschnitten, statt die Ausgabe wie gewöhnlichen Text zu behandeln.
Angriffsvarianten: MissClick-U und MissClick-T
MissClick gibt es in zwei unterschiedlichen Ausprägungen, je nach Ziel des Angreifers. MissClick-U ist die ungezielte Version, die lediglich darauf abzielt, das Modell dazu zu bringen, irgendwo falsch zu klicken – jeder Klick außerhalb des korrekten Bereichs gilt als Erfolg. MissClick-T ist die gezielte Version, die darauf ausgelegt ist, den Klick in einen bestimmten, vom Angreifer gewählten Bereich zu lenken, statt ihn nur zufällig zu entgleisen.
Unterschiedliche Angriffsziele und Optimierungsstrategien
Die beiden Varianten beruhen auf unterschiedlichen mathematischen Zielsetzungen, da ungezielte und gezielte Störungen verschiedene Erfolgskriterien erfordern. MissClick-U arbeitet, indem es das, was die Studie Soft-Koordinatenverschiebung nennt, maximiert – im Wesentlichen wird der vorhergesagte Klick so weit wie möglich von seiner korrekten Position weggedrückt. MissClick-T minimiert stattdessen einen stellenwertgewichteten Zielziffern-Verlust, eine Technik, die gezielt die Manipulation von Ziffern mit höherem Stellenwert priorisiert, da diese nach dem Parsen der Koordinate die größten Sprünge verursachen. Diese Aufteilung in gezielte und ungezielte Angriffe spiegelt einen breiteren Punkt in der Forschung zur Sicherheit von GUI-Visual-Grounding wider: Angreifer optimieren unterschiedlich, je nachdem, ob sie Chaos oder Präzision anstreben.
Experimentelle Auswertung und Angrifferfolgsraten
Die beiden MissClick-Varianten wurden im Vergleich zu bestehenden Angriffen auf zwei etablierten Benchmarks getestet, OS-Atlas und UGround, die Desktop-, Web- und Mobil-Grounding-Aufgaben abdecken. Die Ergebnisse zeigen, dass diese digit-serialisierte Koordinatenschwachstelle kein Randfall ist – sie ist in großem Maßstab ausnutzbar, wobei beide Angriffstypen frühere Methoden deutlich übertreffen.
Leistung ungezielter Angriffe auf OS-Atlas und UGround
MissClick-U erzielte ungezielte Erfolgsraten von 75,07 % auf OS-Atlas und 72,93 % auf UGround, was Verbesserungen von 16,62 bzw. 30,72 Prozentpunkten gegenüber bestehenden Angriffs-Baselines entspricht. Dies sind die höchsten Werte unter den getesteten Zielsetzungen für ungezielte Störung, und die Studie führt diesen Vorsprung speziell auf den Ansatz der Soft-Koordinatenverschiebung zurück.
Leistung gezielter Angriffe auf OS-Atlas und UGround
Die Zahlen von MissClick-T erzählen eine ähnlich eindrucksvolle Geschichte auf der gezielten Seite, mit Erfolgsraten von 44,86 % auf OS-Atlas und 62,67 % auf UGround, Zuwächsen von 31,73 bzw. 47,06 Prozentpunkten gegenüber früheren Methoden. Die hier berichteten MissClick-Angrifferfolgsraten bestätigen, dass die stellenwertgewichtete Zielziffern-Optimierung die stärkste verfügbare Strategie ist, wenn ein Angreifer Präzision statt bloßer Störung anstrebt, da sie andere in der Studie getestete gezielte Zielsetzungen durchweg übertraf.
Insgesamt hebt die Lücke zwischen ungezielter und gezielter Leistung eine praktische Spannung hervor: Einen Klick auf einen ganz bestimmten Punkt zu kapern ist von Natur aus schwieriger, als ein Modell einfach nur verfehlen zu lassen, weil dafür mehrere Ziffernstellen gleichzeitig kontrolliert werden müssen, statt nur eine Zahl nach außen zu schieben. Diese Asymmetrie könnte beeinflussen, wie zukünftige Abwehrmaßnahmen priorisiert werden, da ein Modell, das gegen zufällige Fehlklicks resistent ist, nicht zwangsläufig gegen präzise Umleitungen geschützt ist – ein Unterschied, der für jedes System, das sich auf automatisierte Klicks zur Ausführung realer Aufgaben stützt, von großer Bedeutung ist.
FAQ
Was ist die Hauptschwachstelle, die MissClick in GUI-Grounding-Modellen ausnutzt?
MissClick nutzt den Prozess der digitalisierten (digit-serialisierten) Koordinatenerzeugung aus, bei dem jede Ziffer ein kategoriales Token ist und Änderungen an Ziffern mit hohem Stellenwert zu großen Koordinatenverschiebungen führen, sobald diese Token in Zahlen geparst werden.
Was sind die beiden Varianten des MissClick-Angriffs und ihre Ziele?
MissClick-U ist ein ungezielter Angriff, der die Koordinatenverschiebung maximiert, um Klicks allgemein zu stören, während MissClick-T ein gezielter Angriff ist, der einen stellenwertgewichteten Zielziffern-Verlust minimiert, um Koordinaten in vom Angreifer spezifizierte Bereiche zu kapern.
Wie effektiv sind MissClick-Angriffe auf verschiedenen Datensätzen?
MissClick-U erreichte ungezielte Erfolgsraten von rund 75 % auf OS-Atlas und 73 % auf UGround, während MissClick-T gezielte Erfolgsraten von etwa 45 % auf OS-Atlas und 63 % auf UGround erzielte.
{„@context“:“https://schema.org“,“@type“:“FAQPage“,“mainEntity“:[{„@type“:“Question“,“name“:“Was ist die Hauptschwachstelle, die MissClick in GUI-Grounding-Modellen ausnutzt?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“MissClick nutzt den Prozess der digitalisierten (digit-serialisierten) Koordinatenerzeugung aus, bei dem jede Ziffer ein kategoriales Token ist und Änderungen an Ziffern mit hohem Stellenwert zu großen Koordinatenverschiebungen führen, sobald diese Token in Zahlen geparst werden.“}},{„@type“:“Question“,“name“:“Was sind die beiden Varianten des MissClick-Angriffs und ihre Ziele?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“MissClick-U ist ein ungezielter Angriff, der die Koordinatenverschiebung maximiert, um Klicks allgemein zu stören, während MissClick-T ein gezielter Angriff ist, der einen stellenwertgewichteten Zielziffern-Verlust minimiert, um Koordinaten in vom Angreifer spezifizierte Bereiche zu kapern.“}},{„@type“:“Question“,“name“:“Wie effektiv sind MissClick-Angriffe auf verschiedenen Datensätzen?“,“acceptedAnswer“:{„@type“:“Answer“,“text“:“MissClick-U erreichte ungezielte Erfolgsraten von rund 75 % auf OS-Atlas und 73 % auf UGround, während MissClick-T gezielte Erfolgsraten von etwa 45 % auf OS-Atlas und 63 % auf UGround erzielte.“}}]}
Artikel mit Unterstützung von künstlicher Intelligenz erstellt und von der Redaktion überprüft.
