さまざまな体形や姿勢に瞬時対応！ 進化するバーチャルフィッティングシステム

高まるニーズに対する仮想試着の現状

今や都市部の衣料品店で見掛けることが増えてきたバーチャルフィッティングサービス。試着は面倒、時間がないといった人でも手軽にシミュレーションができるとあって注目を集めている。

また、近年衣料品のオンラインショッピングが急速に普及したことも追い風になった。実際に服を試着しないまま購入する不安を解消する一手として、オンライン上でバーチャルフィッティングができるサービスも多く見られるようになってきた。今後もさらに需要が高まることが予想される。

しかし、こうしたサービスを利用したフィッティングはあくまで簡易的なものであり、自分の体に違和感なくフィットしたさまを確認できるほど精度の高いサービスの実現には至っていない。既存のシステムとしてポピュラーなのは3DCG（３次元コンピューターグラフィクス）を用いたものだが、この手法では写実的な画像を作成するのは困難なのだ。

一方、最近では3Dモデルを用いず、ディープラーニング（深層学習技術）を活用した画像ベースのバーチャルフィッティングシステムも生まれている。大量の画像を学習させた深層学習モデルを用いて試着画像を生成する技術だ。ただ、ある程度の汎用性が重視されるため、やはり一人一人にフィットしたリアルな画像生成は難しく、仕上がりには大味な合成感が否めない。

そうした中、2021年10月に東京大学 大学院情報理工学系研究科 創造情報学専攻の五十嵐研究室（五十嵐健夫教授）が、バーチャルフィッティングにおける新たな手法を開発したと発表。この手法では、リアルタイムでさまざまな体形や姿勢にぴったりと対応した試着画像の生成が可能だという。

かつてないフィット感を実現する新システム

発表されたバーチャルフィッティングは、5つのステップで試着画像が生成される。

まず、体の部位ごとに色分けされたカラフルな計測服を着用し、モニターの前に置かれた深度センサー付きカメラで撮影する。

計測服を着用して深度センサー付きカメラで撮影している様子

次に、深度（カメラとの距離）と色の情報を基に撮影画像が分解され、計測服の部分と体のパーツに分けて抽出される。

続いて、計測服の色分けされた部分ごとに領域分割される。

その画像データが、深層学習モデルの一種である画像変換ネットワークを用いて試着したい商品服の画像に変換される。

最後に、この生成画像にユーザーの体の画像を組み合わせることで、フィット感抜群の試着画像ができ上がるという仕組みだ。

画像変換ネットワークを用いたデータ処理の流れ

生成された試着画像の例。さまざまな動きにフィットしている

なお、この新システムの実現においては、画像変換ネットワークの精度を高めるために膨大な量の入力画像（計測服の画像）と出力画像（試着する商品服の画像）のペアが必要となった。しかも、この入力画像と出力画像は、体形や姿勢が同じ条件で撮影されていなければならない。これを実際に人で対応しようとすると、計測服と商品服を着た人物を全く同じ姿勢でそれぞれ撮影しなければならず、大変な時間と労力を費やすことになる。

そこで今回の研究では、数値的に体形と姿勢を自動制御できる、訓練データ撮影専用のロボットマネキンを開発。平均的な男性の体格をベースに、左右の腕の角度と、胴の厚さや横幅を変化させられる仕様となっている。

研究用に開発されたロボットマネキン。写真の上3枚は体形の変化、下4枚は姿勢を変化させた様子

このロボットマネキンによって大量の画像データを自動取得できるようになり、かつてないほど高品質なバーチャルフィッティング画像が実現できたのだ。

オンラインショッピングやビデオ会議で活用

今回開発された新システムによるバーチャルフィッティングは、さまざまなポーズや衣服のサイズに応じ、詳細な衣服の変形の様子がリアルタイムで生成される。まるで試着室で鏡を見ているような感覚で利用できる。

仮想試着と実試着（実際に試着した様子）の比較。仮想試着のクオリティーの高さが分かる

そのため、例えばオンラインショッピングでさまざまなデザインの衣服を着比べたり、同じ衣服でもサイズによる見た目の違いを比較したり。場合に応じて便利に活用できることが期待される。

サイズの異なる衣服の着用比較。上段が実試着、下段が仮想試着の画像

また、コロナ禍において一気に普及したビデオ会議でも使い道があるかもしれない。現在、背景を合成する機能がよく利用されているが、バーチャルでの衣装チェンジもできるようになりそうだ。

ビデオ会議で衣服を着せ替えたイメージ。人の動きに合わせて、衣服の画像も連動する

今回の研究成果は、2021年10月10日～14日にオンライン上でバーチャル開催されたユーザーインターフェース分野の国際会議「ACM UIST 2021（The ACM Symposium on User Interface Software and Technology）」で発表された。

発表後のQ&Aセッションでは多くの質問が寄せられ、本研究のクオリティーへの好意的な反応や、今後の実装に対する関心の高さがうかがえる結果となった。

研究グループは今後の実用化に向け、さらに開発を進めていく構えだ。例えば長袖の商品など半袖の計測服と大きく構造が違う衣服への対応をはじめ、光源などのさまざまな撮影条件下での制御、ロボットマネキンの自由度アップ、生成画像の質向上のための計測服の最適化といった課題に取り組むという。

将来的に、ファッションECサイトでバーチャルフィッティングサービスが提供されたり、ビデオ会議システムに追加機能として搭載されたり、オンライン市場での実用化は拡大していくと考えられる。

大量生産、大量消費へと進んできたファッション業界の在り方は、是正を求められる社会課題の一つに数えられている。仮想空間で実物レベルの試着ができれば、無駄な量を作らずに注文分だけを生産するなどの手立てが考えられるかもしれない。このテクノロジーが未来社会にどんな変化をもたらすのか、今後の進展に期待したい。