2011'11.05 (Sat) 16:43
2011'09.12 (Mon) 14:23
今年のシーグラフで、ソニーイメージワークスが映画「スマーフ」のメイキングを解説した講演内容について書いてみます。
講演の中で使われた映像資料がYoutubeにアップされているのを見つけました。
記事と合わせてご覧ください。
ウォールストリートジャーナルのHPの中にもこの講演の内容を一部抜粋した記事があるのを見つけました。これも参考になると思うのでリンクを貼っておきます。(英語)
スマーフという小人のCGのキャラクタを、実写の背景の中にどうやって自然に合成するか、イメージワークスがライティングの観点から説明をシーグラフで行いました。この講演では、ソニーイメージワークスが作業の過程で使用した製品の名前などが具体的に語られていたので、これからHDRIを使ったライティングで実写合成をしようと考えている日本のスタジオの方にも参考にしやすいのではないかと思ったので以下にまとめてみました。他の講演では、大抵各VFXスタジオが独自のインハウスツールを使っての事例を紹介しており、社外秘になっているそのインハウスツールがなければ、せっかく聴講しても自分の仕事には実際には参考にならない内容が多い中、このソニーイメージワークスのスマーフの講演は、ハードとソフトの製品を(値段は安くはないが)買いさえすれば日本でも同じ手法を導入できそうな内容でした。
:SPHERON というカメラで実写の撮影現場のライティングをHDRIに記録している。
こんな感じのカメラ。 http://www.youtube.com/watch?v=OKRnKvGNc9E
このカメラをつくっているSPHERONという会社のHPへのリンク
http://www.spheron.com/en/company.html
SPHERONというカメラを使う以前はSLRcameraを使ってHDRI画像を撮影していた。
SLRcameraとは、英語でデジタル一眼レフカメラのことを意味しているらしい。
(Single-lens reflex cameraの頭文字から)
SLRcameraから全天周HDRI画像をつくっていたときは、複数の画像を手でツギハギして
ひとつの画像にしていたので手間がかかった。
SPHERONはそうした作業が自動化されているので、SPHERONを使ってからは
このような手間をかけずに済むようになった。
:HDRIで実写の撮影現場のライティングを記録するということはVFX業界では
一般的な手法に今はなっているが、スマーフではすこし手法を発展させて
深度をもったHDRIライティングを3DCGソフトの中で再現するということに挑戦した。
HDRIに深度を持たせるために、主に以下の2つの方法をとった。
1)SPHERONを上下2段に重ねて撮影を行い、2枚の2次元画像の視差から
3次元の奥行きを計算、深度の情報も持ったHDRIの環境光を3Dソフトの中に
再現した。奥行きを計算するソフトはソニーイメージワークスの中で
自社開発したそうだ。
視差を計算するにあたり、人間の目のように左右にずらした位置にカメラを
置かずに、上下に位置をずらしてカメラを置くというやり方がちょっと面白い
と思った。
(SPHERONが360度のHDRIを撮影するときに回転しながら撮影するので、
隣のカメラが邪魔にならないように上下に重ねてみましたというだけの
理由かもしれない。)
※イメージワークスは2枚の2次元画像から3次元の奥行きを計算する
インハウスツールを作ったそうだが、たぶんこのインハウスツールが
無くても以下のTrimbleというレーザースキャナで撮影現場を3Dで
記録してしまえばそれなりに深度を再現できると思われる。
2)Trimbleという立体スキャナーで実写の撮影現場の環境を3Dモデル
として記録。
Trimbleで記録した環境のモデルにSPHERONのHDRIの画像をカメラから
のプロジェクションマップとして焼き付けて、天空光ライトの球に相当するもの
として使った。
講演ではTrimbleLaserScannerと言っていたが、この言い方だと
Trimble社からはいくつも3DScannerが発売されているので
そのどれを指しているのか不明。
Trimble社のHPをみるとTrimble CX 3D Laser Scanner
というのが最新の機種らしい。
ただの球にHDRI画像を貼ってシーンのライティングに使うよりも、深度の情報も
持っている環境光のほうがより忠実に実写の撮影現場のライティングを
3DCGの中に再現できたという。
Trimbleでは「色つきのポイントをエンバイアロメントからスキャンできる」
と言っていた。Trimbleでも色つきのデータが採れるようだが
ライティング用にはSPHERONで撮影したHDRI画像を使った。
講演ではこの作業過程の様子が参考画像として表示されました。その画像では
Trimbleでスキャンされたモデルの表面はレーザースキャンしたモデルにありがちな
ザラザラした荒いトポロジで、カメラの死角に相当する部分が穴になっていた。
シーンでカメラが動いたときにはこの穴が見えてしまうだろうし、また環境光が表面に
画像として映りこんでしまうような光沢が強い材質にはこのままでは荒いトポロジが
そのまま見えてしまうことから、スキャンしたモデルを参考にしてモデリングを
3Dソフトの中でやり直したそうだ。
スキャンモデルにHDRIを貼り付けてレンダリングしている
参考映像も見せていたが、実際にはスキャンモデルをリトポジャイズ(手でモデリング
し直し)したモデルにHDRI画像をマッピングしてライティングとレンダリングを
行ったそうだ。
Trimbleスキャナーをつくっている会社のHPへのリンク
http://www.trimble.com/construction/building-construction/
YoutubeにあったTrimbleスキャナーの動画。こんな機械です。
http://www.youtube.com/watch?v=lMcs_0KKTLQ
:俳優など映画の3DCGでない部分はgenesisというカメラで撮影されている。
このカメラで撮影された映画本編の映像もカメラから3Dオブジェクトにマッピングする
素材として利用された。
背景を3Dモデル化する必要があるとき場合、SPHERONやTrimble以外にも
実写の撮影素材をカメラマッピングする方法も使われている。
genesisカメラのwiki上での詳細
http://en.wikipedia.org/wiki/Genesis_%28camera%29
genesisカメラをつくっているパナビジョンのHP
http://www.panavision.com/home
:レンダラはArnoldを使っている。
イメージワークスではアリスインワンダーランドやミートボールでも
Arnoldを使っている。
:SPHERONで撮影したHDRI画像をTrimbleでスキャンしたモデル、
あるいは手で作り直したモデルにアサインしするという作業工程を何百
というシーンに行うために自動化の手段として
Katana というソフトを使っている。
もともとはイメージワークスがライティングのワークフローの効率化のため開発した
自社ツールだった。いまはfoundryという会社から製品として販売されている。
Katanaの強みは大量のモデルデータを扱えること。
(ちょっとこのあたりは講演者もセールストークになっているのかもしれない。)
イメージワークスはスパイダーマンを制作したときKatanaを使った。
foundryのHP http://www.thefoundry.co.uk/
foundryは合成ソフトのNukeなどを販売している会社です。
foundry内のKatanaのページ
http://www.thefoundry.co.uk/products/katana/
その他のメモ
:映画全体で850の場面に、HDRIを使ったライティングが
3DCGの中で使えるようにした。
:26stops(26段階の違う露出)が記録されたHDRIを使用した。
:撮影現場のライティングをHDRIに記録することを講演をしている人が
capture the enegy of the scene と言っていて、
シーンの”エネルギー”を記録するという言い方がちょっと面白く感じた。
:撮影現場で常に50パーセントグレーの色をした紙(実写の撮影現場で映像素材と
共に撮影しておくカラーチャート表と同じもの)を撮影しておいて
これを指標・基準としてKatanaの中でHDRIの色を調節した。
いろいろな色が入ったカラーチャート表ではなく、50パーセントグレーの色だけを
参考にしていた。
値段も調べてみました。
イーベイでの値段 SPHERON HDR 360 DEGREE DIGITAL CAMERA
1ドル100円計算だと250万円くらい。
Trimbleの3DスキャナーとfoundryのKatanaの値段も調べてみたけ
ど見つかりませんでした。また改めて調べてみようと思います。
Trimble社の製品ではない3Dスキャナーの値段は見つけたのでみたところ、
150万円位の値段がするようでした。
Trimbleの3Dスキャナーもそのくらいの値段がするのだと思います。
・・・個人でも買える値段だったら買ってみようかなどと考えていましたが、とてもそんな値段ではなかったです。
講演の中で使われた映像資料がYoutubeにアップされているのを見つけました。
記事と合わせてご覧ください。
ウォールストリートジャーナルのHPの中にもこの講演の内容を一部抜粋した記事があるのを見つけました。これも参考になると思うのでリンクを貼っておきます。(英語)
スマーフという小人のCGのキャラクタを、実写の背景の中にどうやって自然に合成するか、イメージワークスがライティングの観点から説明をシーグラフで行いました。この講演では、ソニーイメージワークスが作業の過程で使用した製品の名前などが具体的に語られていたので、これからHDRIを使ったライティングで実写合成をしようと考えている日本のスタジオの方にも参考にしやすいのではないかと思ったので以下にまとめてみました。他の講演では、大抵各VFXスタジオが独自のインハウスツールを使っての事例を紹介しており、社外秘になっているそのインハウスツールがなければ、せっかく聴講しても自分の仕事には実際には参考にならない内容が多い中、このソニーイメージワークスのスマーフの講演は、ハードとソフトの製品を(値段は安くはないが)買いさえすれば日本でも同じ手法を導入できそうな内容でした。
:SPHERON というカメラで実写の撮影現場のライティングをHDRIに記録している。
こんな感じのカメラ。 http://www.youtube.com/watch?v=OKRnKvGNc9E
このカメラをつくっているSPHERONという会社のHPへのリンク
http://www.spheron.com/en/company.html
SPHERONというカメラを使う以前はSLRcameraを使ってHDRI画像を撮影していた。
SLRcameraとは、英語でデジタル一眼レフカメラのことを意味しているらしい。
(Single-lens reflex cameraの頭文字から)
SLRcameraから全天周HDRI画像をつくっていたときは、複数の画像を手でツギハギして
ひとつの画像にしていたので手間がかかった。
SPHERONはそうした作業が自動化されているので、SPHERONを使ってからは
このような手間をかけずに済むようになった。
:HDRIで実写の撮影現場のライティングを記録するということはVFX業界では
一般的な手法に今はなっているが、スマーフではすこし手法を発展させて
深度をもったHDRIライティングを3DCGソフトの中で再現するということに挑戦した。
HDRIに深度を持たせるために、主に以下の2つの方法をとった。
1)SPHERONを上下2段に重ねて撮影を行い、2枚の2次元画像の視差から
3次元の奥行きを計算、深度の情報も持ったHDRIの環境光を3Dソフトの中に
再現した。奥行きを計算するソフトはソニーイメージワークスの中で
自社開発したそうだ。
視差を計算するにあたり、人間の目のように左右にずらした位置にカメラを
置かずに、上下に位置をずらしてカメラを置くというやり方がちょっと面白い
と思った。
(SPHERONが360度のHDRIを撮影するときに回転しながら撮影するので、
隣のカメラが邪魔にならないように上下に重ねてみましたというだけの
理由かもしれない。)
※イメージワークスは2枚の2次元画像から3次元の奥行きを計算する
インハウスツールを作ったそうだが、たぶんこのインハウスツールが
無くても以下のTrimbleというレーザースキャナで撮影現場を3Dで
記録してしまえばそれなりに深度を再現できると思われる。
2)Trimbleという立体スキャナーで実写の撮影現場の環境を3Dモデル
として記録。
Trimbleで記録した環境のモデルにSPHERONのHDRIの画像をカメラから
のプロジェクションマップとして焼き付けて、天空光ライトの球に相当するもの
として使った。
講演ではTrimbleLaserScannerと言っていたが、この言い方だと
Trimble社からはいくつも3DScannerが発売されているので
そのどれを指しているのか不明。
Trimble社のHPをみるとTrimble CX 3D Laser Scanner
というのが最新の機種らしい。
ただの球にHDRI画像を貼ってシーンのライティングに使うよりも、深度の情報も
持っている環境光のほうがより忠実に実写の撮影現場のライティングを
3DCGの中に再現できたという。
Trimbleでは「色つきのポイントをエンバイアロメントからスキャンできる」
と言っていた。Trimbleでも色つきのデータが採れるようだが
ライティング用にはSPHERONで撮影したHDRI画像を使った。
講演ではこの作業過程の様子が参考画像として表示されました。その画像では
Trimbleでスキャンされたモデルの表面はレーザースキャンしたモデルにありがちな
ザラザラした荒いトポロジで、カメラの死角に相当する部分が穴になっていた。
シーンでカメラが動いたときにはこの穴が見えてしまうだろうし、また環境光が表面に
画像として映りこんでしまうような光沢が強い材質にはこのままでは荒いトポロジが
そのまま見えてしまうことから、スキャンしたモデルを参考にしてモデリングを
3Dソフトの中でやり直したそうだ。
スキャンモデルにHDRIを貼り付けてレンダリングしている
参考映像も見せていたが、実際にはスキャンモデルをリトポジャイズ(手でモデリング
し直し)したモデルにHDRI画像をマッピングしてライティングとレンダリングを
行ったそうだ。
Trimbleスキャナーをつくっている会社のHPへのリンク
http://www.trimble.com/construction/building-construction/
YoutubeにあったTrimbleスキャナーの動画。こんな機械です。
http://www.youtube.com/watch?v=lMcs_0KKTLQ
:俳優など映画の3DCGでない部分はgenesisというカメラで撮影されている。
このカメラで撮影された映画本編の映像もカメラから3Dオブジェクトにマッピングする
素材として利用された。
背景を3Dモデル化する必要があるとき場合、SPHERONやTrimble以外にも
実写の撮影素材をカメラマッピングする方法も使われている。
genesisカメラのwiki上での詳細
http://en.wikipedia.org/wiki/Genesis_%28camera%29
genesisカメラをつくっているパナビジョンのHP
http://www.panavision.com/home
:レンダラはArnoldを使っている。
イメージワークスではアリスインワンダーランドやミートボールでも
Arnoldを使っている。
:SPHERONで撮影したHDRI画像をTrimbleでスキャンしたモデル、
あるいは手で作り直したモデルにアサインしするという作業工程を何百
というシーンに行うために自動化の手段として
Katana というソフトを使っている。
もともとはイメージワークスがライティングのワークフローの効率化のため開発した
自社ツールだった。いまはfoundryという会社から製品として販売されている。
Katanaの強みは大量のモデルデータを扱えること。
(ちょっとこのあたりは講演者もセールストークになっているのかもしれない。)
イメージワークスはスパイダーマンを制作したときKatanaを使った。
foundryのHP http://www.thefoundry.co.uk/
foundryは合成ソフトのNukeなどを販売している会社です。
foundry内のKatanaのページ
http://www.thefoundry.co.uk/products/katana/
その他のメモ
:映画全体で850の場面に、HDRIを使ったライティングが
3DCGの中で使えるようにした。
:26stops(26段階の違う露出)が記録されたHDRIを使用した。
:撮影現場のライティングをHDRIに記録することを講演をしている人が
capture the enegy of the scene と言っていて、
シーンの”エネルギー”を記録するという言い方がちょっと面白く感じた。
:撮影現場で常に50パーセントグレーの色をした紙(実写の撮影現場で映像素材と
共に撮影しておくカラーチャート表と同じもの)を撮影しておいて
これを指標・基準としてKatanaの中でHDRIの色を調節した。
いろいろな色が入ったカラーチャート表ではなく、50パーセントグレーの色だけを
参考にしていた。
値段も調べてみました。
イーベイでの値段 SPHERON HDR 360 DEGREE DIGITAL CAMERA
1ドル100円計算だと250万円くらい。
Trimbleの3DスキャナーとfoundryのKatanaの値段も調べてみたけ
ど見つかりませんでした。また改めて調べてみようと思います。
Trimble社の製品ではない3Dスキャナーの値段は見つけたのでみたところ、
150万円位の値段がするようでした。
Trimbleの3Dスキャナーもそのくらいの値段がするのだと思います。
・・・個人でも買える値段だったら買ってみようかなどと考えていましたが、とてもそんな値段ではなかったです。
タグ : 2011 siggraph シーグラフ sony ImageWorks ソニー イメージ・ワークス HDRI 3Dスキャン Katana
2011'09.12 (Mon) 06:33
今年(2011)のシーグラフで見たたくさんの映像のうち、人にも薦めたい作品が2つあったのでそれについて書いてみます。 一つは「Path of Hate」、もう一つは「Scott Pilgrim vs the World」です。
まず「Path of Hate」について。プロペラ機が激しい戦闘を繰り広げる様子をカートゥーンレンダリングを使って映像化しています。アニメーションの空中戦でよく出来ている映像の例として私が思いつくのは、紅の豚、スカイ・クロラ、音速雷撃隊、エースコンバット、板野一郎の作品、などですが、これらのどれにも描かれていなかったような飛行機の挙動を「Path of Hate」の中でみることができました。仕事でこれから空中戦のシーンをつくるデザイナーに、まだ日本のアニメでは手付かずになっている空中戦の演出方法が発見できる参考映像としてお薦めしたいと思います。
映像をつくった会社はPlatige Image http://www.platige.com/ というポーランドの会社です。
「Path of Hate」の全尺をネット上で見ることはできませんが、Platige Imageが持っているVimeo上のアカウントで1分のトレーラを見ることができます。トレーラの中で見れる空中戦は全尺の冒頭の部分にあたります。このあと空中戦はさらに激しくなっていき、それに従って戦闘の演出や作画もトレーラ以上のものが中盤以降に見ることができます。
次に「Scott Pilgrim vs the World」 邦題「スコット・ピルグリム VS. 邪悪な元カレ軍団」
私は映画自体は観ていません。映画の中のVFXの見所だけを集めた映像をシーグラフでみました。日本のゲームとアニメの影響を直接受けている演出法を多様していて、それを手描きのアニメではなく実写とうまく組み合わせる絵作りがなかなかうまくいっています。10年ほど前にシャウシンチーの少林サッカーで、日本のアニメ・漫画の演出が、実写の中でもやりようによっては成立可能だと見せられたときの衝撃と感動を思い出しました。少林サッカーの成功を背景に日本で逆境ナインがつくられたように、「Scott Pilgrim vs the World」 以後にもこの映画のルックを土台にした邦画が今後作られるような気がします。
英語の公式サイトはこれ。
http://www.scottpilgrimthemovie.com/
日本語のwiki上にこの映画の詳細がありました。日本でも2011年4月に公開されたようですね。
wikiを読むとあまり興行は大成功というほどには到らなかったようですが、シーグラフで上映された映画内のVFXシーンをつなぎ合わせた映像を見る限り面白そうな映画に見えました。古い映画の例だけど、ケン・ラッセルのTommyの熱気に似たものをもっている映画のように、未見ながら感じます。
映像はロンドンのスタジオDoubleNegative http://www.dneg.com/ が主につくっているそうです。
シーグラフで上映されたVFX部分を集めた映像は見つかりませんでした。かわりにトレーラのリンクを以下に貼っておきます。
まず「Path of Hate」について。プロペラ機が激しい戦闘を繰り広げる様子をカートゥーンレンダリングを使って映像化しています。アニメーションの空中戦でよく出来ている映像の例として私が思いつくのは、紅の豚、スカイ・クロラ、音速雷撃隊、エースコンバット、板野一郎の作品、などですが、これらのどれにも描かれていなかったような飛行機の挙動を「Path of Hate」の中でみることができました。仕事でこれから空中戦のシーンをつくるデザイナーに、まだ日本のアニメでは手付かずになっている空中戦の演出方法が発見できる参考映像としてお薦めしたいと思います。
映像をつくった会社はPlatige Image http://www.platige.com/ というポーランドの会社です。
「Path of Hate」の全尺をネット上で見ることはできませんが、Platige Imageが持っているVimeo上のアカウントで1分のトレーラを見ることができます。トレーラの中で見れる空中戦は全尺の冒頭の部分にあたります。このあと空中戦はさらに激しくなっていき、それに従って戦闘の演出や作画もトレーラ以上のものが中盤以降に見ることができます。
PATHS OF HATE long trailer from Platige Image on Vimeo.
次に「Scott Pilgrim vs the World」 邦題「スコット・ピルグリム VS. 邪悪な元カレ軍団」
私は映画自体は観ていません。映画の中のVFXの見所だけを集めた映像をシーグラフでみました。日本のゲームとアニメの影響を直接受けている演出法を多様していて、それを手描きのアニメではなく実写とうまく組み合わせる絵作りがなかなかうまくいっています。10年ほど前にシャウシンチーの少林サッカーで、日本のアニメ・漫画の演出が、実写の中でもやりようによっては成立可能だと見せられたときの衝撃と感動を思い出しました。少林サッカーの成功を背景に日本で逆境ナインがつくられたように、「Scott Pilgrim vs the World」 以後にもこの映画のルックを土台にした邦画が今後作られるような気がします。
英語の公式サイトはこれ。
http://www.scottpilgrimthemovie.com/
日本語のwiki上にこの映画の詳細がありました。日本でも2011年4月に公開されたようですね。
wikiを読むとあまり興行は大成功というほどには到らなかったようですが、シーグラフで上映された映画内のVFXシーンをつなぎ合わせた映像を見る限り面白そうな映画に見えました。古い映画の例だけど、ケン・ラッセルのTommyの熱気に似たものをもっている映画のように、未見ながら感じます。
映像はロンドンのスタジオDoubleNegative http://www.dneg.com/ が主につくっているそうです。
シーグラフで上映されたVFX部分を集めた映像は見つかりませんでした。かわりにトレーラのリンクを以下に貼っておきます。
2011'09.02 (Fri) 10:02
2011'08.30 (Tue) 18:10
動画を置くためにVimeoにもアカウントをつくってみました。
Youtubeとニコ動にもアカウントをつくってすでに動画をあげていて、もう十分といえば十分なんですが、Vimeoのアートっぽい雰囲気を以前から単純にミーハーな気分でかっこいいなと思っていてアカウントをつくってみたいと思っていたのです。
フリーのアカウントでは高解像度の動画は週に1つまでという制限があるようです。ひとまず1つ1080pのHD動画をアップしてみました。
Vimeo上での私のチャンネルのアドレスはhttp://vimeo.com/user8179659です。
動画をVimeoに転送してから再エンコードが完了して動画が見れるようになるまで2時間〜3時間待ちという結構な時間が(フリーのアカウントに対しては)かかるということも今回実際に使ってみて知りました。年会費を50ドルほどを払うと週にいくつでもHD動画をアップできるようになり、待ち時間もかなり短くなるようです・・どうしようか検討中。
Youtubeとニコ動にもアカウントをつくってすでに動画をあげていて、もう十分といえば十分なんですが、Vimeoのアートっぽい雰囲気を以前から単純にミーハーな気分でかっこいいなと思っていてアカウントをつくってみたいと思っていたのです。
フリーのアカウントでは高解像度の動画は週に1つまでという制限があるようです。ひとまず1つ1080pのHD動画をアップしてみました。
facial animation test for the trailer of my webcomic 【HD 1080p】 MAYA hair SSS MR from minase_souya on Vimeo.
Vimeo上での私のチャンネルのアドレスはhttp://vimeo.com/user8179659です。
動画をVimeoに転送してから再エンコードが完了して動画が見れるようになるまで2時間〜3時間待ちという結構な時間が(フリーのアカウントに対しては)かかるということも今回実際に使ってみて知りました。年会費を50ドルほどを払うと週にいくつでもHD動画をアップできるようになり、待ち時間もかなり短くなるようです・・どうしようか検討中。
タグ : 3DCG menntalray メンタルレイ Maya facial rigging expression vimeo




