Prototyp · Apache-2.0 · Demo im Browser
ayaka-hand
Eine Prothesensteuerung, die den Griff vor dem Kontakt vorformt. Eine Kamera am Handgelenk sieht den Gegenstand, nach dem gegriffen wird, und formt den passenden Griff schon auf dem Weg dorthin.
Das Problem
Rund 23 % der myoelektrischen Armprothesen werden im Alltag wieder abgelegt. Ein wiederkehrender Grund ist die kognitive Last: Die übliche Steuerung verlangt, Muskelkontraktionen bewusst zu dosieren, um Griffart und Kraft zu wählen — bei jedem Gegenstand, den ganzen Tag.
Die Aufteilung hier ist bewusst gewählt. Das Muskelsignal ist auf einen einzigen binären Auslöser reduziert. Der Träger entscheidet, wann geschlossen wird. Das Sehsystem entscheidet, wie.
Wie es funktioniert
Zwei Ebenen, Lehrer und Reflex. Ein großes Vision-Language-Modell (Qwen3-VL-32B-Instruct, Apache-2.0) beurteilt, was ein Gegenstand ist und in welchem Zustand er sich befindet, und gibt ein strukturiertes Grifflabel aus. Es läuft offline, um den Trainingsdatensatz zu beschriften. In der Echtzeitschleife kommt es nie vor.
In der Schleife läuft ein MobileNetV2 mit zwei Köpfen, destilliert aus genau diesen Labeln: 2.232.839 Parameter, 8,9 MB ONNX, ausgeführt im Browser über ONNX-Runtime Web. Die einzige Eingabe sind Kamerapixel. Nichts sagt dem Modell, was es da sieht.
Ein Griff muss innerhalb von 125 ms stehen, damit er sich wie Teil des Körpers anfühlt.
In dieses Budget passt kein Cloud-Modell. Also ist keines darin.
Ergebnisse
Die Baseline ist bewusst großzügig angelegt. Ihr wird der wahre Objektname vorgelegt — ein perfekter Detektor also — und sie schlägt den kanonischen Griff dazu nach. Das Studentenmodell bekommt nur Pixel.
| Kennzahl | Baseline · kennt den Objektnamen | Student · 2,23 Mio., nur Pixel |
|---|---|---|
| Griffgenauigkeit | 70,5 % | 72,3 % |
| Griff, Makro-F1 | 0,581 | 0,659 |
| Greifkraftgenauigkeit | 65,4 % | 81,1 % |
| Greifkraft, Makro-F1 | 0,595 | 0,806 |
Die Baseline erreicht 0,000 beim Pinzettengriff
Keine Objektklasse bildet einen Pinzettengriff sauber ab — dafür muss man den Gegenstand ansehen. Ein Klassenname kommt dort prinzipiell nicht hin, weshalb die Baseline in dieser Klasse exakt null F1 erreicht. Das Studentenmodell kommt auf 0,323.
Bei der Kraft sind es 15,7 Punkte mehr
Wie fest gegriffen werden muss, hängt am Zustand eines Gegenstands, nicht an seiner Kategorie. Eine volle und eine leere Tasse tragen denselben Klassennamen und brauchen unterschiedliche Kraft. Pixel enthalten diesen Unterschied, ein Label nicht.
Was es nicht ist
Kein Medizinprodukt. Dies ist ein Forschungsprototyp aus einer Hackathon-Einreichung (AMD Developer Hackathon, Act II). Es wird nicht behauptet, dass er Verletzungen verhindert, und es sollte auch nichts dergleichen hineingelesen werden.
Es wurde keine physische Hand gebaut. Die Demo stellt eine simulierte Hand im Browser dar. Alles hier Gemessene wurde an aufgezeichnetem Bildmaterial gemessen, nicht an einem Gerät an einem Menschen.
Die Gefahrenhinweise bewirken nichts. Das Lehrermodell kann Hinweise ausgeben — heiß, scharf, zerbrechlich. Sie dienen ausschließlich der Anzeige, werden nicht ins Studentenmodell destilliert und sind niemals mit der Aktorik verbunden. Das System erkennt oder verhindert keine Gefahren und darf dafür nicht herangezogen werden.
Daten und Lizenzen
Trainiert auf 11.004 vom Lehrermodell beschrifteten COCO-2017-Ausschnitten, nach Lizenz gefiltert: ausschließlich CC BY, CC BY-SA und Material ohne bekannte Beschränkung, unter Ausschluss aller NonCommercial- und NoDerivatives-Bilder. Validiert an 613 zurückgehaltenen Ausschnitten.
Code und Dokumentation stehen unter Apache-2.0.