操作者が憑依!? 電通大・東京電機大が没入型アンドロイドアバターを開発

円滑なコミュニケーションの実現を目指すアンドロイド研究

これまで、遠隔操作型ロボットは、操作者の操作性や利便性を中心に研究が行われてきた。快適な視覚情報の提供や繊細な操作のための触覚のフィードバックといった、操作者側の体験を高めるための研究などだ。

一方で、人に近い見た目を持つロボットであるアンドロイドの開発では、コミュニケーションの在り方が重視されてきた。人に近い表情や振る舞いを再現することで、人との円滑なコミュニケーションの実現を目指した研究が行われている。

こうした従来の研究は、操作者、もしくはアンドロイドと向き合う対面者のどちらか一方の体験を重視した研究であり、操作者が操作時に感じる「臨場感」と対面者がアンドロイドに感じる人の「存在感」という双方の体験を同時に向上させる研究は少なかったという。

そうした中、2024年3月に発表されたのが、電気通信大学大学院情報理工学研究科機械知能システム学専攻の仲田佳弘准教授、東京電機大学未来科学部ロボット・メカトロニクス学科の中島瑞助教（開発当時は電気通信大学同専攻特任助教）、電気通信大学大学院情報理工学研究科機械知能システム学専攻博士前期課程1年の新川馨子氏の研究グループが開発した遠隔操作型アンドロイドだ。

操作者、対面者の両方にリアルなコミュニケーションを感じさせるアンドロイドアバター

今回開発された遠隔操作型アンドロイドは、操作者の視線や発話に伴う口の動き、表情が再現可能となるアンドロイドアバター「Yui（ゆい）」。アンドロイドアバターとは、人に似せた外見を持つ遠隔操作型ロボットのことで、操作者の代理となるものだ。今回は、頭部ユニットとそれを操作するためのインターフェースが開発された。

開発されたアンドロイドアバター「Yui」（右）

画像提供：電気通信大学・東京電機大学

Yuiは、首の運動を含めて頭部28カ所が変形・動作可能で、操作者（装着者）の表情を測定できるVRヘッドセットを用い、操作者の喜怒哀楽といった表情をアバター上に再現する。

また、Yuiの両目と両耳にはステレオカメラとステレオマイクが内蔵されており、取得した映像と音声を操作者に提供することで、操作者は遠隔地に設置されたYuiの目と耳を疑似体験することができ、高い臨場感を得られるようになっている。

Yuiの目にはカメラ、耳にはマイクが内蔵されている

画像提供：電気通信大学・東京電機大学

VRヘッドセットには、映像表示用のディスプレーと音声提示用のスピーカーが搭載されている。操作者は、立体映像に加え立体音響を得ることができるため、実際に見えていなくてもどちらから呼び掛けられたかを音の情報から知ることもできる。

さらに、VRヘッドセットには、操作者の頭部の回転や目、眉や頬といった顔の部位の変化が取得可能なセンサーと発話を取得するためのマイクも搭載。操作者の頭部の動きの情報を基にYuiを動作させることで、操作者とYuiの表情を同期する。マイクで取得された音声は、Yuiの胸部に埋め込まれたスピーカーから再生され、操作者と対面者の間でコミュニケーションを可能としている。

VRヘッドセットからの情報を基に、操作者の表情を再現

画像提供：電気通信大学・東京電機大学

研究チームによる動作検証では、操作者が会話の合間にこぼした笑みや目元の動きがアバター上で再現されることで、アバターを介したコミュニケーションによって対面者が操作者の存在感を感じる可能性があることが示唆された。

人間の表情を伝えることができるアンドロイドアバター。このシステムは、オンライン上では精度を高めるのが難しい遠隔の診察や面談といったシーンでの活用が考えられるという。操作者の特性やシーンに合わせ、アンドロイドアバターに感情を再現させることで、対面を超える新しいコミュニケーションが生まれるかもしれない。