プロトタイプ · ライブデモ · Apache-2.0
ayaka-hand
接触の前に握りの形をつくる、義手の制御システム。手首のカメラが手を伸ばす対象を見て、近づく間に握りを形づくる。筋電信号は「GO」の1ビットだけになる。
閉じるタイミングは人が決める。どう握るかは視覚が決める。
- 状態
- プロトタイプ · 公開デモ
- ライセンス
- Apache-2.0
- 生徒モデル
- 2,232,839 パラメータ
- 重み
- 8.9 MB ONNX
- 実行環境
- ブラウザ内 · ORT Web
- 把持の時間予算
- ≤125 ms
課題
繰り返し挙がる理由が認知的な負荷である。従来の制御では、握りを選び力を調整するために、筋収縮を意識して調節し続ける必要がある。対象ごとに、一日中。ayaka-hand はその作業を視覚システムに移し、人に残す判断をひとつだけにする。
仕組み
第1層 · 教師 · オフライン
Cortex
- モデル
- Qwen3-VL-32B-Instruct
- ライセンス
- Apache-2.0
- リアルタイム経路
- 入らない
物体の見た目と状態を推論し、構造化された把持ラベルを出力する視覚言語モデル。学習データのラベル付けはオフラインで行う。デモでは、応答の遅い「第二意見」パネルとしてだけ現れる。
第2層 · 反射 · 端末上
生徒モデル
- モデル
- MobileNetV2 · 把持と力の2ヘッド
- サイズ
- 2,232,839 パラメータ · 8.9 MB
- 入力
- 手首カメラの画素のみ
教師のラベルから蒸留したモデルで、ONNX Runtime Web を通じてブラウザ内でリアルタイムに動く。何を見ているかを教える物体検出器はない。
握りは ≤125 ms 以内に確定しなければ、身体の一部のようには感じられない。クラウドのモデルはこの予算では動けないので、ここには置かない。
結果
基準法にはあえて有利な条件を与えている。正解の物体クラス名（完全な検出器に相当）を受け取り、それに対応する標準的な握りを辞書から引く。生徒モデルが受け取るのは画素だけである。
| 指標 | ルックアップ基準 正解クラス名が与えられる |
生徒モデル 2.23M · 画素のみ |
|---|---|---|
| 把持精度 | 70.5 % | 72.3 % |
| 把持 macro-F1 | 0.581 | 0.659 |
| 力の精度 | 65.4 % | 81.1 % |
| 力 macro-F1 | 0.595 | 0.806 |
把持精度
把持 macro-F1
力の精度
力 macro-F1
ピンチ把持 · macro-F1
0.000 → 0.323
ピンチ把持にきれいに対応する物体クラスは存在しない。対象そのものを見るしかない。基準法はここで点を取れないが、生徒モデルは取れる。
力の精度 · 改善幅
+15.7 ポイント
必要な力は物体の状態に依存する。中身の入ったカップと空のカップの違いは、クラス名では表せない。
これは何ではないか
- 1ハッカソン提出物から生まれた研究用プロトタイプであり、医療機器ではない。負傷の防止についての主張は一切しない。
- 2物理的な手はまだ製作していない。デモはブラウザ上でシミュレーションした手を描画している。
- 3教師モデルは注意喚起の危険フラグ（熱い、鋭い、壊れやすい）を出せる。これは表示専用で、生徒モデルへは蒸留せず、駆動系にも接続していない。本システムは危害を検知も防止もしないため、その用途に頼ってはならない。
データとライセンス
教師がラベルを付けた COCO 2017 の切り出し画像 11,004 件で学習し、613 件で検証した。画像はライセンスで絞り込み、CC BY、CC BY-SA、既知の制限がないものだけを使用した。切り出しは二次的著作物にあたるため、NonCommercial と NoDerivatives はすべて除外している。コードとドキュメントは Apache-2.0。