Prototyp · Live-Demo · Apache-2.0
ayaka-hand
Ein Steuerungssystem für Handprothesen, das den Griff vor dem Kontakt formt. Eine Kamera am Handgelenk sieht das Objekt, nach dem gegriffen wird, und formt den Griff auf dem Weg dorthin; das Muskelsignal bleibt ein einzelnes binäres GO.
Der Mensch entscheidet, wann geschlossen wird. Das Sehsystem entscheidet, wie.
- Status
- Prototyp · öffentliche Demo
- Lizenz
- Apache-2.0
- Student
- 2.232.839 Parameter
- Gewichte
- 8,9 MB ONNX
- Laufzeit
- im Browser · ORT Web
- Griffbudget
- ≤125 ms
Das Problem
Ein wiederkehrender Grund ist die kognitive Last. Konventionelle Steuerung verlangt, Muskelkontraktionen bewusst zu modulieren, um einen Griff zu wählen und die Kraft zu dosieren, für jedes Objekt, den ganzen Tag. ayaka-hand verlagert diese Arbeit in ein Sehsystem und lässt genau eine Entscheidung übrig.
Wie es funktioniert
Ebene 1 · Teacher · offline
Cortex
- Modell
- Qwen3-VL-32B-Instruct
- Lizenz
- Apache-2.0
- im Echtzeit-Pfad
- nie
Ein Vision-Language-Modell, das über Aussehen und Zustand eines Objekts urteilt und ein strukturiertes Grifflabel ausgibt. Es labelt den Trainingssatz offline; in der Demo erscheint es nur als langsameres Zweitmeinungs-Panel.
Ebene 2 · Reflex · auf dem Gerät
Student
- Modell
- MobileNetV2 · Griff- und Kraft-Heads
- Größe
- 2.232.839 Parameter · 8,9 MB
- Eingabe
- nur Pixel der Handgelenkkamera
Aus den Labels des Teachers destilliert; dieses Modell läuft in Echtzeit, im Browser über ONNX-Runtime Web. Kein Objektdetektor sagt ihm, was es sieht.
Ein Griff muss innerhalb von ≤125 ms festgelegt sein, damit er sich wie ein Teil des Körpers anfühlt. Ein Cloud-Modell kann in diesem Budget nicht leben, also lebt es dort nicht.
Ergebnisse
Die Baseline ist absichtlich großzügig: Sie erhält den echten Klassennamen des Objekts (einen perfekten Detektor) und liest dazu einen kanonischen Griff nach. Der Student bekommt nur Pixel.
| Metrik | Lookup-Baseline bekommt den echten Klassennamen |
Student 2,23 Mio. · nur Pixel |
|---|---|---|
| Griffgenauigkeit | 70,5 % | 72,3 % |
| Griff macro-F1 | 0,581 | 0,659 |
| Kraftgenauigkeit | 65,4 % | 81,1 % |
| Kraft macro-F1 | 0,595 | 0,806 |
Griffgenauigkeit
Griff macro-F1
Kraftgenauigkeit
Kraft macro-F1
Pinzettengriff · macro-F1
0,000 → 0,323
Keine Objektklasse lässt sich sauber auf einen Pinzettengriff abbilden; man muss das Objekt ansehen. Die Baseline kann hier nicht punkten. Der Student kann es.
Kraftgenauigkeit · Zugewinn
+15,7 Pkt.
Die Kraft hängt vom Zustand eines Objekts ab (eine volle Tasse gegenüber einer leeren), und den kann ein Klassenname nicht kodieren.
Was es nicht ist
- 1Ein Forschungsprototyp aus einer Hackathon-Einreichung. Kein Medizinprodukt. Es werden keine Aussagen zur Verletzungsvermeidung gemacht.
- 2Es wurde keine physische Hand gebaut. Die Demo zeigt eine simulierte Hand im Browser.
- 3Der Teacher kann Warnhinweise ausgeben (heiß, scharf, zerbrechlich). Sie dienen nur der Anzeige: nicht in den Student destilliert, nicht mit der Aktorik verbunden. Das System erkennt und verhindert keine Schäden und darf dafür nicht herangezogen werden.
Daten und Lizenzen
Trainiert auf 11.004 vom Teacher gelabelten COCO-2017-Ausschnitten, validiert auf 613. Die Bilder wurden nach Lizenz gefiltert auf CC BY, CC BY-SA und Quellen ohne bekannte Einschränkungen; alles mit NonCommercial oder NoDerivatives wurde ausgeschlossen, weil die Ausschnitte Bearbeitungen sind. Code und Dokumentation stehen unter Apache-2.0.