自由視点映像技術を用いたスポーツ中継システムの開発

スポーツ中継を、視聴者が自由に視点を移動させながら観戦するシステムを実現する。複数のカメラで撮影した多視点映像を統合して自由視点映像を生成するシステムは、オフラインでの実現例はあるが、リアルタイムでの実用化例はない。ビデオから被写体の立っている位置を推定し、そこにビデオ映像を投影した平面モデルを設置することにより、人物のCGモデルを生成する"人物ビルボード法"により、計算時間とデータ量の大幅な削減を実現し、撮影から映像生成・伝送・提示に至る全ての処理のリアルタイム化を実現した。
所属 筑波大学　システム情報系・計算科学研究センター
氏名・職名 北原　格　准教授
研究テーマ名 自由視点映像技術を用いたスポーツ中継システムの開発
応用想定分野 スポーツ中継、及びそのイベント企画、映像制作、映像コンテンツの製作、また、監視や見守り映像、スポーツ科学によるコーチング用途などへの応用。

技術紹介

　スポーツ中継への応用事例を想定した、大規模空間における自由視点映像生成処理のリアルタイム化は、大容量映像データから高速に3次元モデルを生成する技術が要求される。本研究では、スポーツ選手を、ビデオ映像をテクスチャ情報として投影した平面CGモデルで表現する"人物ビルボード法"（図1）を用いて、計算時間とデータ量の大幅削減を実現した。その結果、自由視点映像の生成処理に要する時間を、1秒以下に抑えることに成功している。

　人物ビルボードを設置するためには、大規模空間における人物トラッキングを高速かつ正確に実現する必要がある。映像情報を用いた人物トラッキング処理では、人物間の重なりや影の影響が問題となるが、本研究では、影の影響を寧ろ積極的に利用することによりこれを解決し、位置精度の向上を実現している。本開発技術を用いることにより、選手目線でスポーツシーンを観察したような映像の生成も可能となる。リアルタイムの自由視点映像技術は、スポーツ中継に限らず、カメラワーク設計など、映像コンテンツ製作現場での利用も期待できる。

図1　人物ビルボード法の概略とその特長。

技術の特徴

　人物ビルボード法により、大規模空間でのリアルタイム自由視点映像を可能にしたことが最大の特徴。被写体の形状を2次元平面で近似することにより計算時間を大幅に削減しつつ、実写映像をマッピングすることにより、高い提示映像品質を実現している。従来、観測誤差の原因とされていた影情報を積極的に利用することにより、人物追跡精度を向上させたことも、特徴の一つである。

既存技術、競合技術との比較優位点

　これまで、大規模空間におけるスポーツシーンを対象として、リアルタイムで自由視点映像生成・提示処理を実現した例はない。ボクセルモデルなどを用いて高精度に3次元モデルを復元する手法に基づく自由視点映像生成・提示処理では、処理に必要なデータ量が膨大になるため、対象観測サイズが小さく、短時間での処理が困難である。多視点映像切り替えは、これまでにも、リベロ・ビジョン(Libero Vision)や、ヤフードームでのマルチアングル中継等があるが、リアルタイム映像ではないことや、視点移動範囲が限定される点が、本技術とは大きく異なる。

従来技術との比較

特許出願状況

検討中

研究者からのメッセージ

　スポーツシーンをお気に入りの選手視点から見たような臨場感溢れる映像を楽しんだり、鳥のように上空から眺めることで状況を瞬時に把握したりする、次世代のスポーツ中継視聴スタイルを、実現する技術です。これまでにも自由な視点からの映像を再現する研究は数多く行われていますが、大規模空間で行われるスポーツイベントを対象として、撮影から提示までの全ての処理をリアルタイムで実現する方式は、世界的にも例を見ません。

参考：
北原格研究室
http://www.image.esys.tsukuba.ac.jp/~kitahara/
  • 2010年3月20日　NHK BS「体感！デジタルパワーがやってくる」
  • 2004年3月11日　Intel モバイル派実践ダイアリー「中西さんも期待するサッカーの新たな楽しみ方を伝えるコンテンツ」
  • 2004年2月6日　日本経済新聞「サッカー中継 好きな角度から観戦」
  • 2003年12月19日　読売新聞「サッカー自由視点映像生成」
発表論文：
  1. 渡邊哲哉, 北原格, 亀田能成, 大田友一. 正確で直感的なカメラ操作を可能とする両手を用いた自由視点映像撮影インタフェース. 電子情報通信学会論文誌D,2012, J95-D(3), p.687-696.
  2. 糟谷望，北原格，亀田能成，大田友一. サッカーシーンにおける選手視点映像提示のためのリアルタイム選手軌跡獲得手法. 画像電子学会誌. 2009. 38(4), p.395-403.
  3. 北原格，橋本浩一郎，亀田能成，大田友一. サッカーの自由視点映像提示における気の利いた視点選択手法. 日本バーチャルリアリティ学会論文誌. 2007, 12(2), p.171-179.
  4. Yuichi Ohta, Itaru Kitahara, Yoshinari Kameda, Hiroyuki Ishikawa and Takayoshi Koyama. Live 3D Video in Soccer Stadium. International Journal of Computer Vision (IJCV).2007, 75(1), p.173-187.
  5. Itaru Kitahara, Yuichi Ohta. Scalable 3D Representation for 3D Video in a Large-Scale Space. PRESENCE.2004, The MIT Press, 13(2), p.164-177,
  6. 北原格, 石川寛享, 渡辺真生, 大田友一. 大規模空間の多視点映像を用いた運動視差の再現可能な自由視点映像の生成・提示方式. 画像電子学会誌. 2002, 31(4), p.477-486,
  7. 北原格, 大田友一, 斎藤英雄, 秋道慎志, 尾野徹, 金出武雄. 大規模空間における多視点映像の撮影と自由視点映像生成. 映像情報メディア学会誌. 2002, 56(8), p.120-125.
  8. 北原格, 大田友一. 大規模空間を対象とした自由視点映像生成のための３次元形状表現手法. 日本バーチャルリアリティ学会論文誌. 2002, 7(2), p.177-184.
お問い合わせはこちら