バンダイナムコスタジオでは現在、現実空間のライティング環境をCG上で忠実に再現することを目指した技術研究「TrueHDRI」の成果物として、3枚の画像アセットをCC0で公開しています。
今回、TrueHDRIの開発を行った3名にインタビューを行い、研究の裏側や開発のきっかけ、今後の展望などを伺いました。
HDRIをご存じでない方にもお楽しみいただける内容となっておりますので、ぜひご覧ください！
開発者プロフィール
●菅野 昌人（かんの まさと）アートディレクター
1995年ナムコ（現バンダイナムコスタジオ）入社。「エースコンバット」シリーズに長く携わり、主に背景やメカデザインを担当。「エースコンバット7」アートディレクター。近年ではTrueHDRIを用いたルックデブ環境を構築し、社内共有している。
●鈴木 雅幸（すずき まさゆき）エンジニア
キャラモデリング、モーション、背景、ライティングアーティスト、シェーダーアーティストを経て、現在はTAとしてグラフィックに関する研究や各プロジェクトのサポート業務を行う。
●山口 翔平（やまぐち しょうへい）テクニカルディレクター
2012年にポストプロダクションに入社しCGテクニカルディレクターとしてCMや映画の制作に携わる。カラーマネジメント、実写撮影や合成の技術的サポートやツール作成などを担当。リアルタイムグラフィックスに興味を持ち2019年に株式会社バンダイナムコスタジオに入社。TAとしてライティングやその技術サポート、技術研究などを行っている。
現実の光をCG空間へ取り込むことができる技術「TrueHDRI」
―この度はTrueHDRI画像アセットの公開、お疲れ様でした！研究から公開に至るまでのお話を詳しくお伺いできればと思います。まず今回のテーマであるTrueHDRIとは、一体どのような技術なのでしょうか？
菅野：TrueHDRIというのは、簡単にいうと「現実の光をCG空間へ取り込むことができる技術」です。
そもそも現実空間の光というのは、太陽という極端に明るいものから、私たちが今いるオフィスの照明、あるいは蛍の光などのように、明るさにとても開きがあるんですよ。
この明るさの幅をダイナミックレンジと言うのですが、昼、夜、夕方、部屋の中などの状況によって大きく変化します。そのダイナミックレンジを余す所なく、現実そのままにCG空間へ取り込む技術がTrueHDRIです。
HDRIを扱うゲーム開発現場で集まった「正しいライティングが知りたい」という声
―TrueHDRIが開発されるまでは、どのように光を入れていたのでしょうか？
菅野：IBL(= Image Based Lighting)という、カメラで撮影した写真をコンピューター上で再構成して、空間を照らす光を入れる（＝ライティング）技術は以前からあったのですが、作る人によって出来がまちまちでした。
例えば、太陽の光が入っていなかったり、色が青かったり。私が「エースコンバット7」を開発している時も、昼、夜、ハンガー（戦闘機が置かれている格納庫）の中のライトをどれくらいの強さで設定するかが人によって違っていたんです。
戦闘機の光る部分が日中なのに明るくみえたり、部屋の中に置かれた発光物が眩しすぎたり。常々「ライティングの基準が欲しいな」と思っていました。
鈴木：私も、2018年に携わったプロジェクトでいつも他のクリエイターから「正しいライティングが分からない」と言われていました。基準の定まらない開発環境でモデリングをしている人が多かったんです。
それで、本番環境に出すと全然違って見えてしまう。開発環境でも、現実空間であればこう見える、と分かるものを用意して欲しいという声が多くありました。
それまではダウンロードしたHDRIを都度手で修正して用意していましたが、正しいのはこれだ！というものを自分たちで撮影して作ってしまおうと。
―TrueHDRIの技術研究は、そのようにして始まったのですね。
菅野：先ほどダイナミックレンジのお話をしましたが、光の明るさは数値で表すことができます。
これを輝度というのですが、最も明るい太陽は16億cd/㎡(カンデラ毎平方メートル)。写真で撮ると、輝度が高すぎて白飛びしてしまいますね。
山口：真っ暗な0cd/㎡から、太陽の16億cd/㎡まで。このダイナミックレンジをそのままCGに取り込みたい！と始めたのが、TrueHDRIでした。
減光フィルターはなんと手作り！撮影機材の見直しから始まった技術研究
菅野：当時発売されたばかりの360度カメラを使って撮影してみたら、周囲を一度に撮れる利便性の一方、様々な課題が見えてきました。
期待した解像度でなかったり、太陽のように明るいものが撮影出来なかったり。新しい機材でしたが、自分たちが理想とした方向性の機材ではなかったとわかりました。
じゃあ、HDRIを正しく撮るための手法を機材含めて見直そう、と本格的に技術研究が始まりました。2018年の秋ぐらいですね。
山口：まずはカメラでした。TrueHDRIは「信頼性のおける」という所が肝になります。
今はテレビなどでよく「4K」という言葉を耳にしますが、TrueHDRIの横のピクセル数って実は16K、縦は8Kもあるんですよ！それほど高い解像度で撮影が出来るカメラを選定しました。
0～16億のダイナミックレンジと、16Kの解像度。この2つの条件を満たしている必要がありました。
菅野：次に、減光フィルターでした。「NDフィルター」といって、カメラが取り込む光を弱めて暗く撮影することが出来るアクセサリです。
HDRI撮影でよく使われる魚眼レンズや広角レンズでは、通常フィルターをレンズの後ろ側、レンズとセンサーの間に取り付けるのですが、色々な場所で頻繁に撮影する私たちにとって都度レンズを着脱するのはかなり大変な作業でした。
そこで、簡単に取り外せるものを手作りしました。
山口：フィルターは市販品、カメラに取り付ける枠は菅野さんが職人のように作っていました。
菅野：厚紙とバミリテープ（撮影現場で使う粘着テープ）を駆使して作りました。（笑）
代表的な質感が備わる3つの場所「三船橋」「永代橋」「BNSカフェ」
※BNSはバンダイナムコスタジオの略称です
―試行錯誤しながら、撮影手法が決まっていったのですね。
菅野：2019年1月頃、「この撮影手法なら、品質も納得できるものが出来る」と思いました。バンダイナムコスタジオ公式HPのTrueHDRIライブラリにある永代橋の写真は、そのタイミングで撮りました。
―様々な場所を巡って、ロケーションを決められたのですか？
菅野：はい。日本国内から海外まで。新宿の夜景や木々に囲まれた庭園、沖縄の海岸など、様々なロケーションを撮影しました。
私の地元山形では、父と冬の田んぼのど真ん中まで撮りにいったこともあります。周りが全て雪なので、空の青さと地面の白の反射をCGで再現するための良いリファレンスになりました。
あとは、「エースコンバット」の取材でイギリスやアメリカに行った時にも隙を見て撮影をしました。
大きな機材を用いての撮影だったので移動は大変でしたが、日本では得難い空気感のHDRIを撮影する事が出来ました。
機材が目立つので街では警備員の方に質問されたり、浜辺の撮影をしていた時には現地の方に「貝を採りに来たのか？」と声をかけられたりもしました。（笑）
鈴木：様々な場所で撮影した写真を見比べた結果、「永代橋」が実は沢山の質感（マテリアル）を備えた場所だということが分かりました。
菅野：晴れた青い空はもちろん、逆光のビル街、反対側には順光のビル街、さらに横を見ると緑が茂っている。左側には隅田川が流れていて、水の反射も見えます。
河川敷にある歩道も良く見るタイルばりですし、実際にCGで再現するならそういった日常の何気ないものが基準になるんじゃないかと。
山口：最終的に、晴天の屋外「永代橋」、夜の都心部「三船橋」、屋内の「BNSカフェ（バンダイナムコスタジオ社内のカフェスペース）」の3つの写真を選びました。
鈴木：一番明るい「永代橋」から、真ん中の明るさである「BNSカフェ」、そして一番暗い「三船橋」でバランス良く見ることが出来るようにしました。
写真だけでみると分かりづらいですが、実は1万倍の明るさの違いがあるんです。Photoshopで見ると分かりやすいですよ。
鈴木：実は、カメラで撮影すると色やコントラストが強調されるのでそれを取り払った画像を扱う必要があります。
山口：一般的なHDRIだと、Photoshopで開いた時に既に明るさは調整されています。
これを適正露出というのですが、そこを暗いシーンは暗く、明るいシーンは明るく、現実空間の明るさがそのまま記録されているという点がTrueHDRIの大きな特徴です。
カメラを「光の計測器」として使うには？導き出された周辺減光の計算式
―その他、どのような苦労があったのでしょうか？
山口：鈴木さんが考えられた補正値取得のフローはかなり大変だったのではないですか？
鈴木：そうですね・・・。周辺減光といって、カメラレンズは端に行くほど暗くなってしますのですが、それを補正してあげる必要がありました。
どのくらい周辺減光が起きていて、どうやって補正していくのかを一個一個計測して調べていったんです。
山口：カメラを光の計測器として使うには、どのような補正をしたら良いのか？ということを鈴木さんは研究されていました。
鈴木：常に一定の光を少しずつ端に移しながら撮影していくと、周辺減光が起きて段々と暗くなっていきます。それを、データとしてプロットしていくんです。
（3枚目画像の）左は、周辺減光を補正するための計算式で、右がグラフ。グラフが落ち込んでいる所は周辺減光で暗くなっているので、補正することで持ち上げてまっすぐになるよう調整していくイメージです。
菅野：「常に一定の光を端に移しながら撮影していく」という工程も、実はかなり苦労しました。
魚眼レンズのカメラだったので、平面の白い紙だと画面を覆えないんです。
そこで、発泡スチロールの球体（積分球）を作り、内側にカメラを入れて撮影しました。球の中には豆電球を均等に配置して、光を内部散乱させることで均一な明るさを保たせ、影が出来ないようにしていましたね。
―積分球まで手作りで！？
菅野：大変でした。面にちょこっと白色の塗り忘れがあったら、都度塗り直したり・・・。
これじゃだめだ！と思っていた時に、鈴木さんが「丸いシーリングライトのカバーにカメラを入れるのはどうか？」と言って下さり、いいじゃん！と。トライアンドエラーですね。（笑）
ゲームエンジンを使った“信頼性のおける”ルックデブ環境作りへの挑戦
―様々な環境下での撮影と数値の計測を繰り返して、TrueHDRIの素材が作られていったのですね。
菅野：2019年くらいからは、技術の良さを伝えるためにTrueHDRIを用いたルックデブ環境を作ろうとしていました。ルックデブとは、CGモデルの質感を決める確認工程です。
山口：ルックデブ環境では正しい質感が出来ているかを確認します。
例えば、今回アセットとして公開した3つの場所に出して、金属は金属に見えるか、プラスチックはプラスチックに見えるか、電球は電球らしい明るさか、など環境を切り替えながら確認することで、どのような環境下でも問題の無い本来の質感設定を行うことができます。
菅野：ゲームエンジンで動作する、TrueHDRIを用いたルックデブ環境を作れば信頼に足るものが出来るのではないかと思いました。
鈴木：作ったルックデブ環境は同年4月頃から社内の開発チームで本格的に使われ始めています。
バンダイナムコスタジオ内部で研究されていた技術を世界へ！なぜTrueHDRIの公開に至ったのか
―社内で活用されていたTrueHDRIを、今回CC0という形で公開されたのはなぜでしょうか？
菅野：バンダイナムコスタジオ内部での研究から始まった本技術ですが、「エースコンバット」以外の開発チームへ共有したことから広がり始めました。
その中で「この技術は広く届けるべきだ」と言って下さった方がいて、以降他の会社へ紹介したり、共同研究として環境をお貸ししたりしました。
それらを進めていくにしたがって、人づてにファイルをお渡ししていくより、いっそ世界に公開して、CGの発展に繋げていただければ、頑張って開発した甲斐があると思い公開に至りました。
鈴木：世に溢れているHDRIで私自身、散々苦労してきましたし、同じく苦労しているチームも沢山見てきたので、公開をきっかけにそのような状況が良くなって欲しいと思っています。
山口：「皆がこれで作ってくれると私たちが嬉しいな」と。
TrueHDRI通りに作ったら、より信頼性が高くなるという提案なので、皆様に使っていただき、賛同いただき、ゆくゆくは標準規格になると良いなと思います。
仲間集めのような感じですね。
「あなたにとっての空の色は？」TrueHDRIの真価はチームコミュニケーションにあり
―開発当初から公開に至るまでのお話をたくさん聞くことができました！最後に、今後も進化を遂げていくTrueHDRI技術に関する、皆様からのメッセージをお願いいたします。
山口：今後、画像アセットのバリエーションを増やしていく予定です。
また、使い方がわからない方も多いので、マニュアルやサンプルシーンも公開していきたいと思っています。
TrueHDRIは、正しいライティングを学ぶことができる教材としても活用いただけるのではないでしょうか。
ぜひ色々な場所の数値をピックして、現実空間の明るさへの理解を深めていただきたいです。
鈴木：TrueHDRIは開発効率にかなり貢献できる技術です。
社内でも、ルックデブを上手く使えている開発チームとそうでないところは、質感にかける時間が全然違います。
まずはぜひ使っていただき、確認していただきたいと思います。
菅野：私達も実際にTrueHDRIをゲームの開発に導入しています。リアルなビジュアルを作る上でのベースとなる環境作りが、この技術によって達成できると考えています。
その成果はまた近いうちに公開できると思いますが、一番の真価は開発者同士のコミュニケーションにおいて発揮されると思います。
「自分が見た空の青さはこうじゃなかった」「ライトの色はもっと明るいのでは？」など、感性によって違う要求があるところへTrueHDRIは現実のものを指し示す基準となってくれる。
ひいては開発者のパフォーマンスを上げる事に繋がると思うので、ぜひ、チームで使っていただきたいと思います。
―貴重なお話、ありがとうございました。TrueHDRIはバンダイナムコスタジオ公式HP「技術紹介」ページでも詳しく解説されておりますので、併せてご覧ください！
