#02 コンピュータの目で遊びが進化する! ~画像認識の話

画像認識とは、大雑把に言えば、カメラで撮影した画像に何が映っているかを認識する技術です。これまでバンダイナムコのアーケード製品で使われてきた技術をかいつまみ紹介しながら、「屋内砂浜 海の子」においての最新事例までお伝えしたいと思います。

當間 知明(とうまともあき)
ソフトエンジニア
1995年ナムコ(当時)に入社し、10年間「風のクロノア※1」、「スマッシュコート プロトーナメント※2」など家庭用製品を開発し、アーケード製品開発に転向、「TANK!TANK!TANK!※3」、「屋内砂浜 海の子」などのプロジェクトに参加しながら、製品への画像認識やセンシングの応用を模索しています。

コンピュータの目が生まれるまで

まずカメラを搭載したゲーム筐体が登場しました。1998年の「レースオン!※4」「ガンメンウォーズ※5」では、顔写真撮影して画面にアイコンとして取り込む機能が盛り込まれました。「TANK!TANK!TANK!※3」(2009年)では、さらに他プレイヤーを倒すと顔アイコンもはじけ飛んだりするようになりました。対戦プレイは、今誰と戦っているのかリアルタイムに分かるとより盛り上がりますよね。ここまでは画像認識とは縁がありませんでした。

「マリオカート アーケードグランプリ DX※6」(2013年)でも、顔写真の撮影機能が付いていますが、実はここで顔認識を使って適切な高さで顔写真を取り込むようにしています。これまでは顔写真を撮影するのに、お子様は背伸びをしないと予め画面に表示されたフレームに顔の高さを合わせるのは難しかったのです。ささやかですがコンピュータの目がお客様に合わせておもてなしするようになりました。また、QRコード仕様のスペシャルコードをカメラに向けると特別なキャラクターをゲットできる仕様も入っています(コードは雑誌付録や店舗で配布される小冊子、公式サイトなどで公開されています)。

人の動きを理解するまで

画像認識は、とくに日本のお家芸である自動車産業などにおいて技術が磨き続けられています。ミリ単位以下の精度で部品を組み上げる生産ロボットが緻密な動きを実現するために必要でしたし、また最近自動運転車が実用に入ってきたこともその成果と言えるでしょう。一般の人の目に見えるRGBカメラの他に、赤外線カメラなど、各種センサーが進化を遂げていきました。およそ5年前まではその閉じた世界のための部品であったため、エンターテインメント分野で扱うには数字が2桁ほど高いものばかりでしたが、マイクロソフト社のKinect※7がその状況を一変させました。

KinectはRGBと赤外線、深度情報を取得できるカメラで、例えば人がいるかどうか、人がどんな姿勢を取っているかを認識・推定できるようになり、「ナレルンダー※8」シリーズ(2015年~)がその機能を使用しています。実際にお子様の体に合わせて変身し、腕を振ったり必殺技のポーズをすることで、敵をなぎ払ったりすることができます。

人とたわむれるまで

「屋内砂浜 海の子」(2015年~)でもKinectを使用しています。「屋内で海遊び」を実現したいというコンセプトのもとで、「ナレルンダー」シリーズと同様に、人の動きを知る必要があったのですが、天井から吊り下げ真下を見るようにしている状況では、広い範囲で人の認識や姿勢の推定は難しいと分かり、別のアプローチをしています。

一つは「動体検知」です。深度カメラの1枚の画像で得られるのは、砂の表面の高さです。そこに人が入ってくると、その部分だけ高さが上がることが分かり、それを数枚取ると高さが移動していくことで、人が動いているらしいことをコンピュータが理解できるようになります。これが、水面に波紋を作ったり、おさかなが人の影と認識して、逃げたりするための入力となるのです。

もう一つは「円環検出」です。おさかなをすくう紙の器には、ある太さの黒い円で縁取られています。RGBカメラがその輪郭を検出し、輪郭に対し垂直な線を引くと器の中心部分にその引いた線が重なって見え、位置推定できるという仕組みです。

遊びが身体性を取り戻す未来へ

私が子どもだった頃の遊びといえば、近くの公園や空き地で三角ベースをしたり、物陰に隠した宝物を探し回ったりすることでした。現在は、技術進展のみならず、交通事情や親の目が届きにくい状況も相まって外での遊びが減っている現実があると思います。

一つの可能性の話にはなりますが、「屋内砂浜 海の子」が提供している遊びは、かつての外遊びに近い、理想の遊び場を提供していくカギになるのかもしれません。コントローラーやビデオモニターがない代わりに、人の動きそのものをコンピュータが理解し、おさかなの動きやおさかなすくいの遊びに反映されます。そのたわむれにお子様自身がルールを決めたとき、夢中で遊んでもらえているのかもしれません。

※1~5株式会社バンダイナムコエンターテインメントの製品です。
※6 ©Nintendo Licensed by Nintendo
株式会社バンダイナムコエンターテインメントの製品です。
※7 キネクト, Kinect は米国Microsoft Corporation および/または その関連会社の商標です。
※8 株式会社バンダイナムコエンターテインメントの製品です。