開発エピソード第5弾では、最新のモーションキャプチャ技術と高品質なリアルタイムＣＧキャラクタを活用したインタラクティブなライブコンテンツ提供サービスである『BanaCAST（バナキャスト）』について、開発エピソードを前編/後編に分けてご紹介します。
今回ご紹介する 『BanaCAST（バナキャスト）』は、本当にその場に実在するかのように反応するＣＧキャラクタによって、次元を超えた一体感を感じることが出来ます。ＣＧキャラクタを使った舞台やライブエンターテインメントの創出、ＣＧキャラクタとのインタラクティブな対話や触れ合いを創り出すことが可能です。
■大森 靖（おおもりやすし）
インタビュアー
バンダイナムコスタジオ 執行役員
■大森： 本日は『BanaCAST（バナキャスト）』について、お話をお伺いします。『BanaCAST』は、バンダイナムコスタジオ（以下、ＢＮＳ）の技術ですが、この記事で知る方も多いかと思いますので、どういった技術なのか、簡単に紹介していただけますか。
●大曽根： 最新のモーションキャプチャ技術と高品質なリアルタイムＣＧキャラクタを活用したインタラクティブ（双方向）なライブコンテンツ提供サービスです。リアルタイムモーションキャプチャという技術を利用して、本当にその場に実在するかのようにキャラクタが反応してくれるので、かつてないほどの一体感を感じることが出来ます。観客からのコールにリアルタイムに答えてパフォーマンスを魅せる、といった生身の人間同様の演出も可能となり、舞台やライブなどでは実際に活用していただき、好評を得ております。
■大森： いったいどのような流れでスタートを切ったのでしょうか。
●森本： 2014年頃のことです。何か新しいことをやりたい、こういう技術を使ったらCGキャラクタを生で活用できるのではないかと考え、企画書を書いてその時の上司に持って行き、技術研究をスタートさせたところから、今に繋がっています。
●大曽根 淳(おおそね じゅん)
Mocapプロデューサー/『BanaCAST』プロデューサー
●大曽根： モーション課（モーションキャプチャ業務を主業務とする部署）では、10年以上前からモーションキャプチャを行いつつリアルタイムで簡易的なキャラクタを動かしていたのですが、2012年頃から絵的にもクオリティの高い形で、こんなことをやってみたいという話はしていました。ただ、絵作りの専門家ではなかったのと、光学式モーションキャプチャを用いた場合には技術的に高いハードルがあって、なかなか前に進めないでいました。
そんな中で森本さんが、こんなことが出来ました！という形を見せてくれて、モーション課もモーションキャプチャ面から関わり始めました。
●森本： そうですね、ちょうどサマーレッスン※1をやっている最中で、キャラを毎日目の前でこう、触っていましたので。キャラモデルをこっそり？お借りして、合間を見てチョコチョコと汎用のゲームエンジンを利用して自分でプログラムを組んで試していたのです。
※1：サマーレッスン
VRキャラクターと過ごせる数々の「体験」を主軸に置いたバンダイナムコエンターテインメントが販売元のVRコンテンツです。
（開発エピソード記事『サマーレッスンができるまで』にてご紹介しています。）
「サマーレッスン」ができるまで(前編)
「サマーレッスン」ができるまで(後編)
●佐俣： サマーレッスンのモデルが実写と合成されるさまや、ゲームエンジンで実際にリアルタイムに動いているものを見て、「いけそうだな」っていうのはその時から感じましたね。
●大曽根： 2015年の3月には、バンダイナムコグループ向けの技術内覧会に「一つの新しい遊びの提案」というような形で展示をしました。
■大森： 自分とキャラが「並んで共演する」というのが結構評判よかったですね。
●大曽根： 見て楽しむこともできるし、一緒の絵の中に入って楽しめるよっていうアイデアです。
仮想現実がそこで表現されている、というだけではなく、「仮想現実の中に入ってしまおう！」「今いる現実世界と仮想空間の中とを混ぜてしまいたい！」「好きなキャラクタとリアルタイムに遊んでほしい！」という。
■大森： 自分とキャラクタが横に並んで共演すると、一緒に映っているから、すごく実在感がある。
この技術は、「やっている人も面白いし、それ以上に見ている人のほうがより面白い。」
●大曽根： 技術内覧会をやった一か月後のことです。今度は貸ホールで開催される方針発表会でお披露目することになりました。社長の中谷さんから、開催直前の一週間前になって、「やってくれ」と。
●佐俣： 貸しホールのバックヤードにモーションキャプチャのシステムを組んでやることになったのですけども、かなり直前のことで現地での場所の確保も環境も判らない状態でした。モーションアクターさんに演技をしていただくうえで、どれくらいスペースがあるのだろうか？何メートルぐらい動ける範囲を確保しなければいけないか？を急きょ算段をして、相談をして。
■大森： モーションキャプチャのスタジオ、それを作ってしまうわけですね。
●佐俣： 技術内覧会のときは普段利用している常設モーションキャプチャスタジオ（シオスタ※2）とネットワークで繋いでやるという形を取っていました。それがいきなり設備の無い「外で」っていうのは、僕らにとってもいい経験になりました。
※2：シオスタ
汐留にあるバンダイナムコスタジオ常設のモーションキャプチャスタジオ。
■大森： キャラクタの動きをアクターさんからのキャプチャをする以外の方法、ここだけは手付けモーションであったり、プログラムで動かしていた部分はありましたか？
●森本 直彦（もりもと なおひこ）
モーションデザイナー/『BanaCAST』ディレクター
●森本： 身体の大きい動作はモーションキャプチャから得られるのですが、人間の動きってそれ以外も動いています。一番大きいのは「顔の表情」と「手の動き」ですね。「顔の表情」については、顔面の動きはリアルタイムにキャプチャすることが技術的に難しいです。全く表情が無いと不気味なので、「なんとなく微笑んでいるでもない、自然な表情」を出す仕組みをつくりました。「手の動き」については、ＣＧキャラの「手（拳）」が中途半端な状態で固まったまま動いていることがあるのですが、それって一目で不自然ですよね。人間の動きとして。そこで、「身体の動きと連動して自動的に動く仕組み」を作って仕込みました。
■大森： そういった仕組みも含めて、アクターさんが実際に体を動かして、どうですか？と確認していくのですよね。
●森本： アクターさんに、どういう原理で手が動くかを知っていただくと、それを生かして動いていただけます。
●深渡瀬： ＣＧキャラとアクターさんでは体格が違うので、あるポーズをとったきに、衣服と干渉して服がめくれて表示されてしまうというようなことも起きてしまうのです。アクターさんには手の位置を調整しながら動いていただいたりしました。
森本さんのほうでも直前までめくれ対策の他、技術的な仕込みをしてくれていて、当日までにはいろいろ表現が出来る状態にまで進化していました。
●大曽根： 『BanaCAST』の展開を模索して営業活動を進めていく中、東京ゲームショウ（以下TGS）のバンダイナムコエンターテインメントブースのステージイベントで活用しようという話になりました。
●森本： ステージイベント「鉄拳プロジェクト×サマーレッスン スペシャルステージ すごい技術もお見せしちゃいます！」です。
●大曽根： TGSで実施することが決定したのは、3週間前のことです。ただ、会場の幕張メッセでは「モーションキャプチャをやる場所が物理的に確保できない」ことが判明しました。では遠隔でやろうとすると通信環境の問題とかいろいろあって、キャプチャデータや映像や音声をシオスタジオとうまくリンクさせることが難しいということが判明しました。
●森本： 最終的にどんなふうにやるか決まったのは、3日前ぐらいですね。
●佐俣： 社内のネットワーク技術者にも協力してもらい、BNSの本社である門前仲町のネットワーク環境であれば会場とうまくリンクできそうだ、と判りました。そこで、本社ビル内にキャプチャ環境を作るために前日に機材を持ち込んで、設営して。ただ、やりとりもなかなか難しかったですね。遠隔でやらないといけないので。
■大森： アクターさんが演じるために現地のライブ映像をモニタリングする部分、そこは難しかったのでしょうか。
●大曽根： はい、そこも一度ボトルネックとなりましたが、最終的には問題をクリアできました。アクターさんには会場の様子が分かった上で、お客さんの反応や場の空気を観ながらライブで動けて、アクターさんの声を、そのまま現地へ届けるという環境を整えられました。
リハーサルをやっているとイベントスタッフさんたちが見ていて、「なんだこれは！あれ？映像じゃないの？反応が返ってくる！？」そこで反応がありましたね。 本番でも、観ている人たちも「これなんだろう？えっ？ライブでやっている！？」というのが途中でわかってきて。ステージに登壇した出演者さんたちと共演、お互いのポーズをその場で真似てみたり、お互いに「格闘技の構え」を取って牽制しあったり、じゃんけん対決で一喜一憂したり。「生」だからこそできる掛け合いで場を盛り上げていただきました。キャラクタが観客からの呼び掛けにリアルタイムにリアクションしてくれる面白さと合わさって、ライブ感のあるイベントに出来ました。
●大曽根： TGSでのステージイベントを様々なメディアに取り上げていただきまして、それから半年ほど経ったころのことです。(株)インクストゥエンターさんのほうから声を掛けていただいて、「ちょっとお話しをしたい」と。僕らも具体的な内容は伝えて来ていただいてなかったので、何の話だろう？と思いながら、当時『BanaCAST』に係わっていたコアメンバーと、お邪魔させていただいて。
●森本： 「EGOIST」さん※3のプロデューサーである「ryo（supercell）」さん※4がTGSで我々がやったステージイベントの記事を観ていただいていて、「ぜひ、この技術を使いたい」というご相談をいただきました。
※3「EGOIST」※4「ryo」さん
エンターテインメントユニット「supercell」を率いるコンポーザー「ryo」氏がプロデュースを手掛ける、架空のアーティスト。ヴォーカルはchelly（チェリー）が担当。supercellはインクストゥエンターに所属。
(C)INCS toenter Co.,ltd. All rights reserved. (C)Sony Music Labels Inc. All rights reserved.
●大曽根： いろいろと打ち合わせを行いつつ、少しずつ作っていく中で、TGS2016でおこなわれるEGOISTさんの「シークレットライブ」でやることになりました。
当初は全てライブで行う想定でしたが、TGS会場内のモーションキャプチャスペースの問題や他の技術的な問題もあって、曲部分は事前収録データを用いて、MC部分はライブで行う、ハイブリッド方式で行いました。
●森本： 音楽ライブの現場に入り込んでいくのが僕らも初めてということもあって、これまでのライブを仕切ってくれていた舞台監督さんや映像屋さん、マニピュレータさん、音屋さんといった方々といろんな話をしながら、本当にいろんなことを教わりつつ…やる！と。いざ、挑んでみて、前日の1日仕込みの時間はもらえていたんですが、想定以上のトラブルに遭遇しました。
■佐俣： 機材周りのトラブルや、ネットワーク周り、会場に行って初めて解かることとか。現場のキャプチャ環境を整える部分であったり、「リアルタイムに絵を出す」部分の準備が揃わなかったり。
■森本： 音楽ライブの現場を作る段取り理解や、専門知識などが足りていないことでの苦労はしましたね。
■大曽根： ライブイベントの一つのセクションを担うことでの要求に一所懸命応えようとして、すごい刺激もあったし緊張感もあって、達成感も得られました。
■森本： 光学式モーションキャプチャスタッフが舞台現場に入ることも珍しかったようで、僕らからの「こういうふうにしてほしい」というオーダーが、普段の現場から見れば特殊で「本当にそんなことしなきゃいけないの？」って思われたりするのです。そこらへんはお互い話をしながらご協力をいただいて、双方にとってやりやすい環境、必要な環境を整えながらやりました。
■佐俣： 本番直前まで仕込みをしていましたよね？
■森本： 舞台現場の方たちからはリハーサルを進める中で「ココでキャラをフワッて消したいのだけれど！」と要求が来るのです。その場その場の演出要求の応えるためにプログラムの修正をしていくのですが、これが難航してしまい、本番直前までかかってしまいました。
■大曽根： そうやって、本当に本番を迎えることになりました。イベント本番は、本当にバッチリ大成功したんですね。終わった時の「安堵感」と「達成感」！森本さんなんか、魂が抜けちゃっていましたね（笑）
■大曽根： EGOISTさんの「シークレットライブ」では我々にご依頼いただくにあたって『BanaCAST』以外の部分、「CGの制作」であったりとか「映像の制作」の部分も一緒にお話しをいただきました。そこで社内でこれまで『BanaCAST』に係わってきていない部署へ、一緒にやっていってくれないかという話をしました。我々はこれだけできるんだ！という見せ所ですよね。みなさんお忙しい中、仕事に割り込んで短期間で作ってもらい、本当にギリギリまでみんなで頑張りました。そのおかげで満足できるものを「バンダイナムコスタジオ全体のちから」で提供できたと思います。
■森本： 歌い手さんが新曲を歌う、後ろに背景のＶＪ映像を出すのですが、それを「シークレットライブ」の時には僕の上司が全部作ってくれて。
■大曽根： 他の曲のＶＪ映像はビジュアルワークス課の人たちにも作ってもらって、ＶＪ映像はすべて社内でそろえることができました。
■森本： 『BanaCAST』に係わってきていない部署などへ、色々な相談とか持ちかけるじゃないですか。僕らがやろうとしていることを「面白そう」と賛同してくれると、忙しくても、相談に乗ってくれました。
■大曽根： 社内でもアウトプット先の目新しさがあって、話しを持ちかけると「やってみたい」と言ってくれるんですね。ステージイベント用の映像作ってほしい、CG作ってほしいと持ちかけると、もう前のめりで話を聞いてくれていて。やっぱりみんなモノ作りが好きなんだなあと。
クリエイター気質というか、面白いもの、新しいもの、を作りたいという気持ちが根底にあるんだなっていうのをすごく感じましたね。
■大森： 我々からすると当たり前なこと、例えばモーションキャプチャスタジオとか、シオスタでやれば？と考えますけど、中々そんな会社無いですよね。どこかいいスタジオを探さなきゃ？どこからエンジニアを借りてこよう？となります。
■森本： 外部の方と一緒にお仕事をさせていただいて、逆に客観的に自分たちの会社組織が持っている強みというものをより感じることになりましたね。
■大曽根： ホントに同じフロアの近くに専門のスペシャリストの方がいるというので、相談もしやすいし、いざとなったら協力してくれるし。
■大森： それこそいざとなったら「コレ、溶接が必要なのだけど。」とか。そういうのでも頼める。
■大曽根： 何かものを作ろうとしたとき、作ろうとするときに、デジタルコンテンツ、物理的なモノも含めて、この会社はいろいろなスペシャリストがいますね。
■大森： 「シークレットライブ」は大成功？
■大曽根： ご来場されていた多くのお客様に足を止めて観て頂けました。我々としても本当に新たな第一歩を踏み出すことができました。
『BanaCAST（バナキャスト）』参考情報
BanaCAST：BandaiNamco Character Streaming Technology
株式会社バンダイナムコスタジオによる、最新のモーションキャプチャ技術と高品質なリアルタイムＣＧキャラクタを活用したインタラクティブなライブコンテンツ提供サービスです。
本当にその場に実在するかのように反応するＣＧキャラクタによって、次元を超えた一体感を感じることが出来ます。
ＣＧキャラクタを使った舞台やライブエンターテインメントの創出、ＣＧキャラクタとのインタラクティブな対話や触れ合いを創り出すことが可能です。
(C)INCS toenter Co.,ltd. All rights reserved. (C)Sony Music Labels Inc. All rights reserved.
