Zum Inhalt springen
  • BTC $59.000 −6,6%
  • ETH $1.634 −8,6%
  • SOL $69,32 −7,0%
  • BNB $543,38 −7,8%
  • XRP $0,9095 −7,0%
  • DOGE $0,0543 −8,1%
  • ADA $0,1412 −8,4%

Deine Augen kommen zuerst dort an

Dreißig Jahre lang war Blickverfolgung teurer Spezialhardware vorbehalten. Jetzt funktioniert sie mit einer gewöhnlichen Webcam, und es gibt eine Webseite, auf der jeder sie in etwa neunzig Sekunden testen kann. Beobachtet man jemanden bei der Computernutzung, wiederholt sich dieselbe Verzögerung hunderte Male pro Stunde. Die Person schaut auf den Knopf. Dann bewegt sie…

Eye-Tracking war dreißig Jahre lang in teurer Spezialhardware eingeschlossen. Jetzt funktioniert es mit einer gewöhnlichen Webcam, und es gibt eine Seite im Netz, auf der es jeder in etwa neunzig Sekunden testen kann.


Beobachtet man jemanden am Computer, wiederholt sich dieselbe Verzögerung, Hunderte Male pro Stunde. Die Person schaut auf den Button. Dann bewegt sie die Maus zum Button. Das Auge kommt jedes Mal zuerst an und wartet dann darauf, dass die Hand aufholt. Größere Ziele, Tastaturkürzel, Autovervollständigung, Gesten: Ein großer Teil des Interface-Designs existiert, um einen Zeiger zu kompensieren, der langsamer ist als die Person, die ihn hält.

Die meiste Zeit der Computergeschichte gab es keine Alternative. Zu wissen, wohin jemand schaut, erforderte ein spezielles Gerät mit Infrarotbeleuchtung, einen Preis im Tausenderbereich und eine kontrollierte Umgebung, um genau zu bleiben. Tobii, das schwedische Unternehmen, das das Feld dominiert, hat darauf ein ernstzunehmendes Geschäft aufgebaut. Für Menschen mit ALS oder einer Rückenmarksverletzung, die sprechen, indem sie auf Buchstaben auf einem Bildschirm schauen, ist diese Hardware lebensverändernd. Sie ist aber auch durch einen Bestellvorgang abgeschirmt.

Diese Schranke fällt nun von zwei Seiten. Von oben, durch die Plattformen: Apple liefert Eye Tracking als standardmäßige Bedienungshilfe auf iPhone und iPad aus, nur mit der Frontkamera, und Vision Pro machte den Blick zum Zeiger und das Kneifen zum Klick. Von unten, durch den Open-Source-Stack: Gesichtserkennungsmodelle, die vor ein paar Jahren noch Forschungsprojekte waren, laufen jetzt in einem Browser-Tab, mit Kameraframerate, kostenlos.

Die Demo

Hier kommt Lugano ins Spiel. Mont3, ein Softwarestudio in der Stadt, hat ein funktionierendes Beispiel online gestellt. Die Seite fragt nach Kamerazugriff, führt den Besucher durch etwa eine Minute Kalibrierung, in der ein Punkt über den Bildschirm verfolgt wird, und dann beginnt ein Marker, den Blick zu verfolgen. Zwei kleine Spiele sind angehängt: In einem blinzelt man, um einen Käfer wegzuzappen, den man gerade anschaut, im anderen, einer Version von Snake, steuert man, indem man dorthin schaut, wo man hinwill. Es gibt keine Installation, kein Konto und keinen Upload: Der Kamerastream bleibt auf dem Rechner des Besuchers, das Modell wird im Browser trainiert und gespeichert, und das Schließen des Tabs beendet alles.

Mitten in der Kalibrierung. Der grüne Ring ist das Ziel, das der Nutzer ansehen soll, der blaue Marker zeigt, wohin die Seite glaubt, dass er schaut, und der Streifen rechts ist das Iris-Tracking, das sie ausliest. Bildnachweis: Mont3

Wie es funktioniert

Der naheliegende Weg, dies zu bauen, ist, Kamerabilder in ein Modell zu speisen und zu fragen, wohin die Person schaut. Das funktioniert beeindruckend gut, bis der Kopf sich neigt – dann bricht es zusammen, weil das, was das Modell gelernt hat, eine Körperhaltung war.

Also wird das Bild fast sofort verworfen. Googles MediaPipe FaceLandmarker, ein Open-Source-Gesichtsmesh, das auf dem Gerät läuft, liefert 478 Punkte pro Frame, darunter einen Ring um jede Iris, und dieses Iris-Tracking ist selbst ein veröffentlichtes Forschungsprojekt. Etwa ein Dutzend Zahlen bleibt übrig: wo jede Iris in ihrer Augenhöhle sitzt, Gier-, Nick- und Rollwinkel des Kopfes sowie der Abstand zwischen den Augen als Näherung für die Betrachtungsdistanz.

Das ist der Trick, der den Kontakt mit einer echten Person übersteht: Die im Auge gemessene Irisposition hebt auf, wo sich das Gesicht im Bildausschnitt befindet, sodass sich Zurücklehnen im Stuhl nicht mehr zerstörerisch auf die Schätzung auswirkt.

Von Gesichtslandmarks zu einem Punkt auf dem Bildschirm. Bildnachweis: Mont3

Eine HTML-Datei

Es lohnt sich, genau zu sein, was die Herstellung kostet, denn das ist der Teil, der sich geändert hat. Die Seite ist eine einzelne HTML-Datei: rund 1.100 Zeilen, 51 KB, ein Script-Tag, kein Framework, kein Build-Schritt, kein Server, kein npm install. Reines JavaScript, das in welchem Browser auch immer läuft, den der Leser bereits geöffnet hat. Die einzige externe Abhängigkeit ist Googles Gesichtsmesh, das in einer einzigen Zeile von einem öffentlichen CDN geladen wird. Die Regression am Ende sind 65 Terme handgeschriebener Linearalgebra, in geschlossener Form gelöst, ohne Beteiligung einer Machine-Learning-Bibliothek.

Ein fähiger Entwickler könnte das an einem Wochenende nachbauen. Vor fünfzehn Jahren war dasselbe Ergebnis ein finanziertes Forschungsprojekt mit Hardwarebudget.

Wie genau es wirklich ist

Webcam-Blickverfolgung landet nach der Kalibrierung bei ungefähr 2 bis 4 Grad Fehler. In Laptop-Distanz entspricht das etwa einer großen Münze bis zu einer Kreditkarte: zuverlässig auf der Ebene eines 4×4-Rasters von Zonen. Es ist kein Cursor, und wer auf Consumer-Hardware etwas anderes behauptet, verkauft etwas.

Diese Grenze ist interessanter, als sie klingt. Viele Interfaces brauchen keine Pixelgenauigkeit: welche von sechs Kacheln Ihre Aufmerksamkeit hat, ob Sie einen Absatz beendet haben, ob Sie noch vor dem Bildschirm sitzen. Verweilselektion, die Technik, die unterstützende Technologien seit Jahrzehnten verwenden, funktioniert mit Zonen-Genauigkeit problemlos.

Wohin das führt

So sieht es aus, wenn eine Technologie ihr Gehäuse verlässt. Eine Fähigkeit sitzt jahrelang in teurer Hardware, dient den Menschen, die ohne sie nicht auskommen, bis das Sensing gut genug für Standardkomponenten wird und die Modelle aufgehen. Die ersten Nutznießer sind diejenigen, die sie schon immer brauchten, für die die Lücke zwischen einem Gerät für Tausende und einer Seite für nichts die Lücke zwischen Sprechen und Nicht-Sprechen ist. Danach wird es alltäglicher: Interfaces, die bemerken, wohin die Aufmerksamkeit ging, und aufhören, die Hand zu bitten, es zu erklären.

Neunzig Sekunden und ein Browser reichen, um zu sehen, wie weit wir schon sind, unter mont3.ch/control_with_eyes. Chrome, selbst bei wenig Licht im Gesicht, Kopf eine Armlänge vom Bildschirm entfernt.


Hinweise für die Redaktion

  • Wortzahl: 838 Wörter (nur Fließtext, ohne Titel, Vorspann, Bildunterschriften und diesen Block).
  • Rahmen: ein Beitrag darüber, wohin sich Augensteuerung entwickelt, mit der Lugano-Demo als etwas, das der Leser selbst überprüfen kann. Das Unternehmen wird im Text einmal namentlich erwähnt und einmal in der abschließenden URL. Keine Links zu seinen kommerziellen Seiten, keine Zitate daraus, und das einzige „wir“ ist das redaktionelle.
  • Autorenzeile: absichtlich freigelassen.
  • Bilder: zwei, beide vom Studio bereitgestellt, keine Rechte Dritter betroffen. Bild 1 ist ein Screenshot der Seite in Benutzung, aufgenommen vom Autor. Bild 2 ist ein eigens für diesen Artikel erstelltes Diagramm. Bildnachweis „Bildnachweis: Mont3“, der weggelassen oder, falls es dem Hausstil entspricht, in eine einzelne Zeile am Fuß verschoben werden kann.
  • Verwendete externe Links: Tobii, Apple Newsroom, Google MediaPipe-Dokumentation, arXiv. Alle zum Zeitpunkt des Schreibens geprüft und erreichbar.
  • Die Demo benötigt eine Kamera und funktioniert am besten in Chrome. Sie tut nichts ohne eine explizite Berechtigung und lädt nichts hoch.

Cryptonomist Editorial Staff

Alle Artikel von Cryptonomist Editorial Staff