30秒のプロジェクト高速紹介動画

Selfrionette: 指先の力で全身アバターを操作する新しいVRコントローラ

概要

Selfrionetteは、指先の力入力を用いてVR空間内で全身アバターを操作可能にする革新的なコントローラです。このシステムは、物理的および空間的な制約を克服し、多様で広いレンジのな触覚インタラクションを実現します。

Selfrionetteを用いてVR環境内のオブジェクトとインタラクションする様子

主な特徴

1. 指先の力入力

Selfrionetteは、片手で7つのシングルビームロードセルを使用して指先の力を測定します。このセンサーは球形の筐体に組み込まれており、自然な手の姿勢で操作が可能です。各ロードセルは最大20kgの力を検出でき、HX711チップを用いて80Hzでデジタル信号に変換し、マイクロコントローラで読み取っています。

自由度（DoF）:

• 親指と人差し指: 各3自由度（上下、前後、左右）。それぞれ足と手の動作に対応。
• 小指: 1自由度（押し込み）。 ものの把持に対応

両手を使用することで、最大14自由度で全身の操作が可能です。

2. 力から運動への変換

指先で測定した力をVR空間内のアバターの動きに変換します。この変換は**逆運動学（IK）**を用いてリアルタイムで実行されます。

アバター運動生成の方程式

以下の式でアバターの動きが記述されます：

• $F_l$ : ロードセルに加えた力
• $F_v$ : 仮想空間内の目標点（四肢のエンドポイント）に作用する力
• $m_v$ : 仮想質量
• $c, k$ : ダンパーとばねの定数
• $x_0$ : アバターの手足の基準位置

このモデルにより、指先の力入力に基づく直感的で応答性の高い制御を実現します。

3. 触感の表現

Selfrionetteでは、単なる力入力による運動生成だけでなく、触覚特性（重さ、摩擦、弾性など）を表現するための追加の力もシミュレーションに内包できます。この手法により、バーチャル物体の物理的特性をよりリアルに体感できます。

触覚の追加力

触覚フィードバックを生成するための運動方程式は、以下のように表現されます：

• $f_m$ : 触覚特性を表現する追加の力。

各触覚特性は以下のように実現されています：

1. 重さ (Weight)

物体の重さを表現するためには、加速度と重力の効果を加えます：

• $m$ : 仮想物体の質量
• $g$ : 重力加速度

2. 摩擦 (Friction)

表面間の摩擦力を以下でモデル化します：

• $f_p$ : 平行方向の力
• $f_n$ : 垂直方向の力
• $\mu, \mu'$ : 静止摩擦係数、動摩擦係数

3. 弾性 (Compliance)

弾性を表現するためにばねの特性を使用します：

• $x_c$ : 接触点の位置
• $k$ : ばね定数

これにより、柔らかいオブジェクトを掴む感覚や弾性体に触れる感覚を再現します。

論文情報

UIST 2024

• タイトル:Selfrionette: A Fingertip Force-Input Controller for Continuous Full-Body Avatar Manipulation and Diverse Haptic Interactions
• 著者: Takeru Hashimoto, Yutaro Hirao
• 論文URL

VRSJ 2024

• タイトル:セルフリオネット：指先力入力システムによる全身アバタ操作と多様な触覚インタラクションの実現
• 著者: 平尾悠太朗、橋本健
• 論文URL

メディア、取材

電波新聞

【「五感」を創る コンテンツ制作の今】　指先だけでアバター操作、触覚も再現　「セルフリオネット」で新たなVR体験提供へ

日刊工業新聞

指だけでアバター操作　奈良先端大とソニーCSL、コントローラー開発

DC EXPO 2024 有野いくさん体験レポート

Demonstrations

Maker Faire Kyoto 2024