Unreal Engine 4 の レンダリングフロー総おさらい Epic Games Japan Senior Support Engineer 篠山 範明 16:30 5
はじめに
本日の内容 UE4のRenderingのフローを俯瞰で見て、 各要所のTipsを見ていきます。
Renderingの調整は 日々クオリティとパフォーマンスとの戦い。 Quality Performance Iteration
Renderingの調整は 日々クオリティとパフォーマンスとの戦い。 Quality Performance Iteration 誰の仕事？
UE4は、アーティストでもPerformance解析をできるような 様々なツールを用意しています。
ツールの存在は知られているが、 あまり使われていないのはなんでだ？
UE4のレンダリングの知識を ある程度把握しないと使いにくいのではないか？
例えば、こんなシーン
UE4のDeferred Renderingの一般的なイメージ Base Pass Lighting Post Process
完成
“ProfileGPU” コマンドor “Ctrl + Shift + ,”で Renderingの処理の流れが見えます。
何をやっているのがよくわからない処理も あるのではないでしょうか？ ？
Base Pass Lighting Post Process このイメージだけでは足りないのでは？
本講演の目標 Renderingの流れと、中で何が行われているかを理解する。 その際に開発で重要となるTipsや機能を知り、 日々の開発や意思決定をスムーズにする。
本講演の目的 Quality Performance Iteration このIterationをアーティストが自身で回すためのとっかかりに。
本日の対象者 UE4を用いて日々開発を行っている アーティスト、 テクニカルアーティスト (エンジニア)
本日話さない事 • Render Thread からRHI Threadへのコマンドの積み方 • RHI ThreadからGPUコマンド発行プロセス • 俺俺G-buffer拡張方法 • .usfのコンパイルプロセス • DX12が(以下略)
本日の非対象者 UE4の内部Renderingフローと 日々格闘しているエンジニアの方 (特に、FDeferredShadingRender::Render()以下の流れを熟読しているかた。)
本日のアジェンダ • Renderingフローをもう少し掘り下げる • 各項目毎に掘り下げる • Z-Prepass • BasePass • (Custom-Depth/Stencil) • Lighting • Transparency •...
備考 • 本資料はすぐにアップされます。 説明で出てくるコマンドを逐一メモする必要はありません • エディターは英語版で説明を行います。 • UE4.13を想定しています。 • 質疑応答は予定しておりません。
本日のアジェンダ • Renderingフローをもう少し掘り下げる • 各項目毎に掘り下げる • Z-Prepass • BasePass • (Custom-Depth/Stencil) • Lighting • Transparency •...
Renderingフローを もう少し掘り下げる (一階層だけ深く) 5(2)16:35
Base Pass Lighting Post Process
Base Pass Lighting Post Process
Base Pass Lighting Post Process Transparency
Base Pass Lighting Post Process TransparencyReflection
Base Pass Lighting Post Process TransparencyReflection Pre- Lighting Decal Ambient Occlusion
Base Pass Lighting Post Process TransparencyReflection Pre- Lighting Z PrePass
Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting これらを大まかなブロックとして、 ブロック毎に掘り下げていきたいと思います。
Base Pass 一番重要かつ基本のパス Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 7(15)16:37
Base Passで行われること Opaque / Maskedマテリアルのオブジェクトを レンダリングし、G-bufferを作成する。
G-Bufferとは 後のライティングやポストエフェクトで使われるための中間バッファ。
BasePassの描画順を視覚化
Base Pass の注意点 BasePassはジオメトリ投入のコストが直に反映される場所なので、 処理負荷になりやすい場所です。 少し時間をとって、BasePassの注意点を見ていきます。
Vertex Shader Rasterizer Pixel Shader そのために、一般的なGPUレンダリングのおさらいを先にします。 アセットやアクタを置く人のための、非常に非常に非常に簡略化したものです。
Vertex Shader VertexBufferが計算すること 1. SkeltalMeshなどのアニメーションを頂点に反映
Vertex Shader Vertex Shader が計算すること 1. SkeltalMeshなどのアニメーションを頂点に反映 2. カメラから見て、そのポリゴンをがどこにあるかの計算
Rasterizer Rastarizerがすること 2. ポリゴンから 描画ピクセルを決定 (計算はしない)
Rasterizer Rastarizerがすること 1. フラスタムカリングなどの カリング処理 2. ポリゴンから 描画ピクセルを決定 (計算はしない) そのポリゴンを 破棄 カメラの外にあったら。。
Pixel Shader Pixel Shader が計算すること ラスタライザが出力した、各ピクセルの色を決める計算をする (BasePassでは、G-bufferに様々な要素を格納するだけ)
Vertex Shader Rasterizer Pixel Shader 簡単なレンダリングフロー。 破棄
Base Passで注意すべきこと • 無駄な頂点を計算させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない)
Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない) 8(5)
例えば、こんなメッシュを頑張って作成してみたものの。。
このキャラクタ一体しか見えないシーンなのに、 処理負荷がめちゃくちゃ高い！！
処理負荷の原因は、画面に見えないはずの大量のロブさん
(CPU) Frustum Culling Object Object 見えない！ 見える オブジェクトのバウンスを調べ、 画面外のオブジェクトをGPUに計算させない機能 Object 見える？？
不必要におおきなバウンスはGPUの負荷につながります 良いバウンス 悪いバウンス 友情出演
無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない。 コックピットならば、前後左右を一体で作ると、 全く見えない後ろのポリゴンもマイフレームGPUが計算してしまう。 Kentuckyguard http://free-...
Stat InitViews コマンドで、 どれだけ事前にオブジェクトをカリングしたかわかる。
FreezeRendering コマンドで、 その時点でのカメラのカリング結果を見ることができる。
無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない。 では、どれだけがGPU内で不用意に頂点計算されているか？ (フラスタムカリングさているか？) 破棄
無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない。 Init Views や FreezeRendering で、 画面に映らないオブジェクトがGPUに投入されていないか確認してみましょう。 また、各プラットフォーム...
Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない)
Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない) 13(+...
Depth Test のGPU内部の動作
Depth Test 0. 何もないシーンに。。。 Color Buffer Depth Buffer
Depth Test 1. 赤いポリゴンが描画されて。。。 Color Buffer Depth Buffer①
Depth Test 2. 青いポリゴンが描画されて。。。深度比較されて遠くのオブジェクトは消える。 Color Buffer Depth Buffer① ②
Depth Test Q. この赤の裏に隠れた青のピクセル達は、計算されるんでしょうか？？？ Color Buffer Depth Buffer① ②
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader 頂点シェーダで、画面のどこにポリゴンがあるかを計算します。
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader ラスタライザでそのポリゴンがどのピクセルを埋めるかを判断します。
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader そしてPixel Shaderでピクセルの色を計算する Rasterizer
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader Pixel Shaderの前に、各ピクセルに描画されるデプスは決まってすよね...
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader PreZ: Pixel Shaderの前でDepth Test及びDepth Writeを行う P...
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader そしてPixel Shaderでピクセルの色を計算する Pre Z Rasterizer
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader 次に青いポリゴンが奥に投入されても。。。。 Pre Z Rasterizer
描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader PreZで先にDepth計算と比較をするので。。。 Pre Z Rasterizer
描画の流れをGPU的に追っていきます。 Pixel Shaderでこの重なった部分のピクセルは計算されません。 めでたしめでたし。。。 Color Buffer Depth Buffer Pre Z Pixel Shader Rasterize...
Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader Pixel Shaderの前に、各ピクセルに描画されるデプスは決まってすよね？ ？ 本当か？
Color Buffer Depth Buffer Pixel Shader Vertex Shader Pixel Shaderを走らせないと最終的なDepthがわからない例: 1 アルファテスト Pre Z Rasterizer
アルファテストを行うMaskedマテリアル
Color Buffer Depth Buffer Pixel Shader Vertex Shader Pixel Shaderを走らせないと最終的なDepthがわからない例: 2 Pixel Shader内部で無理やりDepthを書き換える...
PixelのDepthを変更するPixel Depth Offset
この様なシェーダに出くわすと、GPUは自動的に、 シェーダを計算してからDepth処理を行う、Post Zというものに切り替えます。 Color Buffer Depth Buffer Pre Z Post Z Pixel Shader Ras...
これらを意識していないと、 PreZがOffになり、 不要なPixel Shaderが走る可能性があります。
駄目な例: 不透明だけどとりあえずMaskedにパラメータ入れておく Pre Z Post Z Pixel Shader Rasterizer Vertex Shader
駄目な例: 使わないけど、Pixel Depth Offsetをパラメータ化 Pre Z Post Z Pixel Shader Rasterizer Vertex Shader
マスターマテリアルに汎用性を持たせるために、 MaskedやPixel Depth Offsetをパラメータ化している場合、 PreZが走っているかのチェックが必要です。
PreZ / PostZどちらが走るかは、 GPU内部の処理のため、UE4では観測できません。 エンジニアにお願いして、 各プラットフォームのGPUプロファイラを使ってください。
Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない PreZの効果を不必要に消させない • 無駄にシェーダを重たくしない (こちらはマテリアル作...
BasePass まとめ Base PassはG-bufferを作成するフェイズです。 OpaqueとMaskedマテリアルが投入されます。 オブジェクトの投入が直に響く箇所です。 バウンスの設定を確認し、無駄な頂点計算をさせないように。 マテ...
Advanced: G-Bufferの拡張 20(2)
G-Bufferの拡張(エンジン拡張) もんしょさん(@monsho1977)の上記の記事では、 実際にソースコードを改変して、G-Bufferを拡張する方法を説明しています。 http://monsho.blog63.fc2.com/blog...
おぎまふさん(@ogimafu) はG-Bufferを拡張し、 独自のToon Shadingを実装 http://www.slideshare.net/TomohiroOgiwara/ue4meetup-63696087?ref=http:/...
ノンフォト描画については、G-Bufferを拡張しないで表現する方法などを、 弊社下田が中心にUE4 Forumで議論しております。 https://forums.unrealengine.com/showthread.php?88581- %...
G-Bufferの精度の制御 Project Settings の Rendering内で、G-bufferの精度を変更できます。 映像系など高精細な絵作りが必要な場合、精度を上げてください。
Base Pass 一番重要かつ基本のパス Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
Z prepass Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 22(3)16:52
Z Prepassとは？ Base Pass 全オブジェクトを 毎回G-bufferに書き出して。。。 とやるのは処理負荷が高い。。
Z Prepassとは？ Base Pass Z PrePass Depth-Bufferのみを作成するパスを BasePassの前(pre)に仕込んでおく。 BasePassで実際にG-Bufferに書き出す のは前もって用意したデプスに勝つ...
Z Prepass Off ver. のBasePass描画
ＧＯＡＬ
Z Prepass ON ver. の BasePass描画
Z prepassで背景のデプスバッファを作成
Z Prepassの設定場所(Project Settings) Project Settings / Rendering内の Early Z-passというタブでおこなえる。 また、下のMovables in early Z-passでMov...
Decide Automaticallyの挙動 Defaultのこの設定ですが、十中八九Opaque Meshes Onlyになると考えてOKです。
Z Prepassの各オブジェクトの設定場所 (Use as Occluder) 各オブジェクトのRenderingタブ内に、 “Use as Occluder”という項目がある。 この設定がDefaultでONだが、これをOff にすることで...
Z prepassの効き目と注意点 Z prepassは、 BasePassのピクセル処理負荷を下げる代わりに。。。 Z prepassでもジオメトリを投入します。 ポリゴン数が多いシーンでは、 逆にZ Prepassが処理負荷につながるケース...
Z prepass Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
Custom Depth/Stencil ちょっと脱線。。 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting Custom Depth...
Custom Depth/ Stencil 特定のメッシュのDepthだけを別バッファに書き出す機能とそのバッファ名 本来のDepthBuffer もう一つ別のDepthBuffer
Custom Depth/ Stencil Project SettingのRendering項目にある、 “Custom Depth-Stencil Pass”をONにしてください。
Custom Depth/ Stencil 各メッシュのRender CustomDepth Passにチェックをいれる
Custom Depth/ Stencil 試しにキャラクター全部のカスタムDepthをONにしてみる。
Alweiさん(@aizen76) の上記のブログでも Toon ShadingのマスキングのためにCustom Depthを使用 http://unrealengine.hatenablog.com/entry/2016/05/30/2200...
らりほまさん(@rarihoma) の上記のブログでは D言語君のマスクとしてCustom Depthを使用 http://rarihoma.xvs.jp/2015/02/22/1/#customdepth-
Custom Depth/ Stencil Q. Custom Depth を作成するのは重たいでしょうか？
Custom Depth/ Stencil A. Custom Depth を描くオブジェクトが増えれば増えるほど、重たくなります。
Custom Depth/ Stencil 先ほどのシーンでプロファイルしてみます。
Custom Depth/ Stencil 処理負荷比較 Custom Depthもほぼ同等の負荷がかかります BasePassのキャラクターレンダリング負荷
Custom Depth/ Stencil Custom Depth / Stencilにチェックを入れたオブジェクトは、 もう一度オブジェクトがGPUに投入されて計算されます。 その分GPUコストにつながるので、 ちゃんとプロファイリングして...
Custom Depth/Stencil ちょっと脱線。。 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting Custom Depth...
Pre-Lighting Decal & AO Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 28(5)16:58
Decal Ambient Occlusion テクスチャをプロジェクションする。 弾痕や血しぶきとか。。 疑似的なライティング遮蔽情報 物体の接地感やディティールの増幅に
Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 後のLighting等で使われるので、 前もって処理しておく必要がある
Ambient Occlusion
AO • Ambient Occlusionとは？
Decal
Decal をUE4コミュニティの方達の資料を用いて紹介したいと思います。
http://konabe.blog.jp/archives/33883823.html 栗坂こなべさん(@kurisaka_konabe)の記事を参照させて頂きます。
インクが付くようなエフェクト、 右の図の様にプレーンを置くとなると、ぎりぎり面の上に置かなければいけないし、 壁際のコーナーなどでは不具合が生じる
Decalはボックス形状で、プロジェクションするので、 複雑なオブジェクトにも対応しています。
Decalは便利なのですが。。。 事前に焼き付けたライティングの干渉など、 ライティングの問題が多いです。
ずしさん(@shiba_zushi)の ツイートを参考させて頂きます。
https://twitter.com/shiba_zushi/status/736443001820454912
https://twitter.com/shiba_zushi/status/736443290791202816
https://twitter.com/shiba_zushi/status/736443563806838785
アンコウさん (@dgtanaka) もこの問題について取り組んでいます 「スカイライトを配置するとデカールが透ける問題調査」 https://trello.com/c/fkJo51iu/12--
UE4もくもく会 = (ソースコードリーディング会) にて資料を公開してくれています https://trello.com/c/fkJo51iu/12--
このライティングの不具合を解消するために D-Buffer という解決策をUE4は提供しています。
Project Settings / Rendering内にある D-Buffer DecalsをONにすることにより、この問題を解決できます。
https://twitter.com/shiba_zushi/status/736446424028569602
D-Bufferデカールの具体的な仕組みや負荷など、 詳細に記述してくれています。 https://twitter.com/shiba_zushi/status/736443563806838785
Pre-Lighting Decal & AO Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
Lighting Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 33(7)17:03
LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のSha...
LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のSha...
ライティング事前計算機能: Lightmass
ライティング事前計算機能: Lightmass たった数時間で。
ライティング事前計算機能: Lightmass この計算をエディタの裏でしているのがLightmassです
ライティング事前計算機能: Lightmass 先月に、Lightmass専門の勉強会を行いました。 資料や情報がForumにあがっていますので、参考にしてください
建築ビジュアリゼーションの真茅健一さんが、 ルイスバラガン邸をUE4で再現し、 その制作フローを講演してくれています @torashami
LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のSha...
LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のSha...
Stationary Lightのメインの制約
Stationary Lightのメインの制約 影付きStationary Lightを5つ以上重ねると、 5つ目以降のライトが”自動的に”MovableなLightになる。
Stationary Lightのメインの制約 “Stationary Light Overlap”で Stationary Lightの重なり具合を確認できます。 処理負荷が読めなくなるので、赤は基本的になしにしてください！
Stationary Lightの影については、 上記ブログが参考になります http://darakemonodarake.hatenablog.jp/entry/2015/12/16/UE4/Stationary
LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のSha...
Deferred Lightingは 影がなければ動的ライト沢山おいても軽い？
範囲の小さい Movable Lightを100個 範囲の大きい Movable Lightを8個VS
Light Complexity Lightingの負荷を大まかに見積もる機能
範囲の小さい Movable Lightを100個 範囲の大きい Movable Lightを8個VS Light Complexityでの比較 (青->緑->赤と高負荷を示す)
Q: Deferred Lightingならライトを沢山おいていいのか？ ライトを沢山を”置けます”が、 ライトが触れるピクセルが増えれば増えるほど処理負荷は増えます。 簡易的に、Light Complexityという機能があるので、 そちらで...
発展編 Q. Static LightはRuntimeに影響受けないでしょうか？
発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ いいえ
発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ 試しにStatic Lightを3000個置いてみる。
発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ CPU プロファイラで見ると、 “Init Dynamic Setup”に処理負荷が。 UE4ではStatic Lightに何か変更があっ た際(Dirtyフラグ...
発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ いいえ CPU(Render Thread)の負荷になります
発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ UE- 31804で対応しています。
バグトラックが公開されました。
UE4のWebサイトから ISSUESを選択してください。
このバグはまだ公開されていなかったorz
LightのMobilityのおさらい 各種設定とその特徴を理解して、正しく使いましょう。 「とりあえずStationary 」はご法度
Lighting Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
Reflection Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 40(3)17:10
Reflection Probe 事前計算で静的シーンの ReflectionMapを作成 Screen Space Reflection 動的に反射を作成、 画面に見えない反射は 表現できない Planar Reflection 平面限定だが...
ドキュメントと、専用のサンプルまでと非常に充実している Reflection
Reflections Sample
静的なReflection エディタ内部で事前にキャプチャするか、 特定のCubeMapを指定できる。
静的なReflection Project SettingsでCaptureする CubeMapのサイズを変更できる。
静的なReflection 複数のReflection Probeの混ざり方
静的なReflection 複数のReflection Probeの混ざり方
Reflection Captureの数は 処理負荷につながる？ 一個だけのReflectionCapture: 0.17ms 200個のReflectionCapture: 0.22ms
Reflection Captureの数は 処理負荷につながる？ 200個のReflectionCapture: 0.48ms Radius = 200 200個のReflectionCapture: 2.01ms Radius = 1000
静的なReflection: 配置方法 Reflection Probeの処理負荷は “Reflection Environment Compute Shader XXXX”に出てきます Lightingパスのライトと同様、 Probeの数より...
静的なReflection: 配置方法 UE4 documentationに記載されている 配置方法。 全体を覆う赤: Reflectionがシーン全体で なくならないようにする 部屋単位で覆う青: メイン。大まかな整合性はここで定義 オブジェ...
動的なReflection Screen Space Reflection 長所 • 完全に動的にReflectionを生成 事前計算なし 短所 • 画面範囲外の反射は取得できない • ノイズが多い • 半透明の映り込みが正しくない
Planar Reflection 4.12から生まれた機能、平面のみ可能、 非常に高負荷で、シーンを二回レンダリングしているようなもの
Planar Reflection vs Screen Space Reflection SSRはあくまで画像範囲内の疑似的なReflection
Reflection Reflectionには静的なものと動的なものを組み合わせて実現します。 静的なものは配置方法を、 動的なものはクオリティと処理負荷を、 それぞれ意識して使用してください。 ReflectionはUE4 Docで詳細が沢山...
Reflection Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
半透明 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 43(9)17:13
半透明は UE4に限らず 現代のリアルタイムレンダリングの最大の課題の一つ
半透明の問題とUE4上の対策 1. Depth描画をしない 2. 描画負荷
Eeffectをシーンに置いてみる
Depthは何も書かれていない
半透明の問題とUE4上の対策 Depthを描画しないため Depthを用いるエフェクトで問題が起こる
Depth Of Fieldをかけてみる
この不一致を解決するために Separate Translucency という機能をUE4は用意しています。
Lighting Post Processそれまでの パス 半透明描画 パス Depth Of Field
Lighting Post Processそれまでの パス Depth Of Field Separate Translucency Pass 半透明描画 パス
Separate Translucency = ON
Separate Translucency ONOFF
Project 単位でSeparate Translucencyの設定 Project Settings / Rendering内
マテリアル単位で、 どちらのパスで描画 できるかも設定可能 (マテリアルの Translucencyタブ内)
Separate Translucency = ON 本来、遠くの煙にはボケてほしい。
Lighting Post Processそれまでの パス 半透明描画 パス Depth Of Field Separate Translucency Pass Separate Translucency のパスは Depth Of Field...
UE4 フォーラムでスレッドがあります。 「半透明描画とDOFを両立させる方法について」 より良いアイディアがあれば、是非議論していければと思います。
マテリアル単位で、Depth Of Fieldのパラメータを取得できる “Depth Of Field Function”ノード
DOF Functionなし DOF Functionあり
半透明の問題とUE4上の対策 1. Depth描画をしない 2. 描画負荷
どちらが重たいでしょう？？ 画面全体の色を変えるPostEffect 煙のエフェクト一個
ピクセル描画の主な負荷 = 各ピクセル描画の重たさ * ピクセル数
半透明描画では、 透明でも沢山のピクセルを描画している可能性がある 煙のエフェクト一個ワイヤーフレーム表示
たった一個のエフェクトでも、描画するピクセル数が増えれば、 PostEffect以上の負荷に簡単に跳ね上がる。 画面全体の色を変えるPostEffect 煙のエフェクト一個
重なり具合を確認できる Debug View Shader Complexity
ピクセル描画の主な負荷 = 各ピクセル描画の重たさ * ピクセル数 どのように処理ピクセルを減らすか？
UE4でのピクセル描画負荷対策 1: Separate Translucencyの解像度削減 2: Particle Cut Out
Lighting Post Processそれまでの パス 半透明描画 パス Depth Of Field Separate Translucency Pass このバッファの解像度を減らすことで描画ピクセルを減らす r.SeparateTra...
Resolution = 100% : 0.44ms
Resolution = 50% : 0.32ms
Resolution = 10% : 0.2ms
Separate Translucencyをお使いの場合 r.SeparateTranslucencyScreenPerenctage コマンドで、 クオリティと処理負荷を比較してみてください
UE4でのピクセル描画負荷対策 1: Separate Translucencyの解像度削減 2: Particle Cut Out
UV-Animationによるスプライト表示では、 透明部分が不要に出てきてしまう場合が多い
”Particle CutOut” Particleの透明部分を、自動でポリゴン分割してくれる機能
ポリゴン数は少し増えるが、大幅なピクセル描画負荷を削減 Paragonではこれでエフェクトの描画負荷が3分の１に。
mokoさんの上記ブログで、詳細な設定方法を説明して頂いております http://effect.hatenablog.com/entry/2016/07/04/015542
半透明の問題とUE4上の対策 1. Depth描画をしない 2. 描画負荷
半透明 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
Post Process Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 52(5)17:22
Post Process なし
Post Process あり
Post Process ありPost Process なし
Post Process ありPost Process なし
Post Processの設定は位置(Volume内)、カメラ、 それぞれに設定可能
どちらも Post Process Volume内で 自身のポストエフェクトの設定 を調整可能。
各々のPriorityとBlend Weightでそれぞれの設定を シームレスに変更することができる。
様々なポストプロセスがあり、 個別の効果はUE4 Docを参照してください
UE4のPost Processingは順序が定まっています。 Depth Of Field Motion Blur Bloom Tone Mapping マテリアルエディターなどで自由にパスを入れ替えることはできません。 その中で、各エフェク...
ProfileGPUPost Process 設定 不一致
ProfileGPUは、具体的な実装に近い要素を記述しています。 どこがどこまでかわからない場合は、エンジニアに相談してください。
さらに詳細に調整したい場合、、 エディタに出ていないコマンドで様々な設定ができます。
Bloomの設定、沢山パラメータがあるが、 コンソールコマンドでも設定できる項目がある。
r.BloomQuality 5r.BloomQuality 0 r.BloomQuality 1 r.BloomQualityコマンドでBloomの広がりが変更され。。。
r.BloomQuality 5r.BloomQuality 0 r.BloomQuality 1 さらに ProfileGPUで見える処理のフローも変わる。
コマンドの意味は、 いままではソースコードのコメントを読むしかなかったが。。
4.13からConsole Variablesのヘルプをローカルに保存する機能が。
英語のみだが、各コマンドの意味を検索できるようになっている
Post Processing まとめ UE4のPost Processingのパスは固定です。 Profileの”Post Process”項目は、 Post Process Volumeの項目と違います。 しかも、設定によって処理の中身や負...
Post Process Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
おわりに Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 57(3)17:27
かけ足でしたが、UE4のレンダリングフローを見ながら、 要所でのTipsを説明していきました。 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lig...
まとめ レンダリングの中身をしることで、 クオリティとパフォーマンスを両立することができます そのために、UE4は様々なツールを用意しています。 エンジニアと協力しつつ、色々な検証をしてみてください。
UE4はソースコードを公開しています。 (最近はバグトラッカーまで公開されました！) そしてありがたい事に、UE4コミュニティには沢山の優秀な人々がいます。 多くの方がオープンに情報を公開し、議論して頂き、 素晴らしい情報が日々蓄積されています...
ご清聴ありがとうございました Special Thanks!! ロブさんも、 アセット貸してくれてありがとうございます。 アンケートにご協力ください！ また、今日出せてない情報が沢山ありますので、 それらは、UE4 Forumで是非ポストモーテ...
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい
Upcoming SlideShare
Loading in …5
×

CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい

356 views
 299 views

Published on

2016年8月25日にパシフィコ横浜にて開催されたCEDEC2016の講演資料です。UE4のレンダリングフローの概要を説明しています。(Epic Games Japan 篠山範明)
http://cedec.cesa.or.jp/2016/session/VA/12631.html

Published in: Engineering
0 Comments
3 Likes
Statistics
Notes
no profile picture user

  • Be the first to comment

No Downloads
Views
Total views
356
On SlideShare
0
From Embeds
0
Number of Embeds
43
Actions
Shares
0
Downloads
9
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

CEDEC2016: Unreal Engine 4 のレンダリングフロー総おさらい

  1. 1. Unreal Engine 4 の レンダリングフロー総おさらい Epic Games Japan Senior Support Engineer 篠山 範明 16:30 5
  2. 2. はじめに
  3. 3. 本日の内容 UE4のRenderingのフローを俯瞰で見て、 各要所のTipsを見ていきます。
  4. 4. Renderingの調整は 日々クオリティとパフォーマンスとの戦い。 Quality Performance Iteration
  5. 5. Renderingの調整は 日々クオリティとパフォーマンスとの戦い。 Quality Performance Iteration 誰の仕事？
  6. 6. UE4は、アーティストでもPerformance解析をできるような 様々なツールを用意しています。
  7. 7. ツールの存在は知られているが、 あまり使われていないのはなんでだ？
  8. 8. UE4のレンダリングの知識を ある程度把握しないと使いにくいのではないか？
  9. 9. 例えば、こんなシーン
  10. 10. UE4のDeferred Renderingの一般的なイメージ Base Pass Lighting Post Process
  11. 11. 完成
  12. 12. “ProfileGPU” コマンドor “Ctrl + Shift + ,”で Renderingの処理の流れが見えます。
  13. 13. 何をやっているのがよくわからない処理も あるのではないでしょうか？ ？
  14. 14. Base Pass Lighting Post Process このイメージだけでは足りないのでは？
  15. 15. 本講演の目標 Renderingの流れと、中で何が行われているかを理解する。 その際に開発で重要となるTipsや機能を知り、 日々の開発や意思決定をスムーズにする。
  16. 16. 本講演の目的 Quality Performance Iteration このIterationをアーティストが自身で回すためのとっかかりに。
  17. 17. 本日の対象者 UE4を用いて日々開発を行っている アーティスト、 テクニカルアーティスト (エンジニア)
  18. 18. 本日話さない事 • Render Thread からRHI Threadへのコマンドの積み方 • RHI ThreadからGPUコマンド発行プロセス • 俺俺G-buffer拡張方法 • .usfのコンパイルプロセス • DX12が(以下略)
  19. 19. 本日の非対象者 UE4の内部Renderingフローと 日々格闘しているエンジニアの方 (特に、FDeferredShadingRender::Render()以下の流れを熟読しているかた。)
  20. 20. 本日のアジェンダ • Renderingフローをもう少し掘り下げる • 各項目毎に掘り下げる • Z-Prepass • BasePass • (Custom-Depth/Stencil) • Lighting • Transparency • Reflection • Fog • まとめ(振り返り)
  21. 21. 備考 • 本資料はすぐにアップされます。 説明で出てくるコマンドを逐一メモする必要はありません • エディターは英語版で説明を行います。 • UE4.13を想定しています。 • 質疑応答は予定しておりません。
  22. 22. 本日のアジェンダ • Renderingフローをもう少し掘り下げる • 各項目毎に掘り下げる • Z-Prepass • BasePass • (Custom-Depth/Stencil) • Lighting • Transparency • Reflection • Fog • まとめ(振り返り)
  23. 23. Renderingフローを もう少し掘り下げる (一階層だけ深く) 5(2)16:35
  24. 24. Base Pass Lighting Post Process
  25. 25. Base Pass Lighting Post Process
  26. 26. Base Pass Lighting Post Process Transparency
  27. 27. Base Pass Lighting Post Process TransparencyReflection
  28. 28. Base Pass Lighting Post Process TransparencyReflection Pre- Lighting Decal Ambient Occlusion
  29. 29. Base Pass Lighting Post Process TransparencyReflection Pre- Lighting Z PrePass
  30. 30. Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting これらを大まかなブロックとして、 ブロック毎に掘り下げていきたいと思います。
  31. 31. Base Pass 一番重要かつ基本のパス Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 7(15)16:37
  32. 32. Base Passで行われること Opaque / Maskedマテリアルのオブジェクトを レンダリングし、G-bufferを作成する。
  33. 33. G-Bufferとは 後のライティングやポストエフェクトで使われるための中間バッファ。
  34. 34. BasePassの描画順を視覚化
  35. 35. Base Pass の注意点 BasePassはジオメトリ投入のコストが直に反映される場所なので、 処理負荷になりやすい場所です。 少し時間をとって、BasePassの注意点を見ていきます。
  36. 36. Vertex Shader Rasterizer Pixel Shader そのために、一般的なGPUレンダリングのおさらいを先にします。 アセットやアクタを置く人のための、非常に非常に非常に簡略化したものです。
  37. 37. Vertex Shader VertexBufferが計算すること 1. SkeltalMeshなどのアニメーションを頂点に反映
  38. 38. Vertex Shader Vertex Shader が計算すること 1. SkeltalMeshなどのアニメーションを頂点に反映 2. カメラから見て、そのポリゴンをがどこにあるかの計算
  39. 39. Rasterizer Rastarizerがすること 2. ポリゴンから 描画ピクセルを決定 (計算はしない)
  40. 40. Rasterizer Rastarizerがすること 1. フラスタムカリングなどの カリング処理 2. ポリゴンから 描画ピクセルを決定 (計算はしない) そのポリゴンを 破棄 カメラの外にあったら。。
  41. 41. Pixel Shader Pixel Shader が計算すること ラスタライザが出力した、各ピクセルの色を決める計算をする (BasePassでは、G-bufferに様々な要素を格納するだけ)
  42. 42. Vertex Shader Rasterizer Pixel Shader 簡単なレンダリングフロー。 破棄
  43. 43. Base Passで注意すべきこと • 無駄な頂点を計算させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない)
  44. 44. Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない) 8(5)
  45. 45. 例えば、こんなメッシュを頑張って作成してみたものの。。
  46. 46. このキャラクタ一体しか見えないシーンなのに、 処理負荷がめちゃくちゃ高い！！
  47. 47. 処理負荷の原因は、画面に見えないはずの大量のロブさん
  48. 48. (CPU) Frustum Culling Object Object 見えない！ 見える オブジェクトのバウンスを調べ、 画面外のオブジェクトをGPUに計算させない機能 Object 見える？？
  49. 49. 不必要におおきなバウンスはGPUの負荷につながります 良いバウンス 悪いバウンス 友情出演
  50. 50. 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない。 コックピットならば、前後左右を一体で作ると、 全く見えない後ろのポリゴンもマイフレームGPUが計算してしまう。 Kentuckyguard http://free-photos.gatag.net/2014/06/06/160000.html
  51. 51. Stat InitViews コマンドで、 どれだけ事前にオブジェクトをカリングしたかわかる。
  52. 52. FreezeRendering コマンドで、 その時点でのカメラのカリング結果を見ることができる。
  53. 53. 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない。 では、どれだけがGPU内で不用意に頂点計算されているか？ (フラスタムカリングさているか？) 破棄
  54. 54. 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない。 Init Views や FreezeRendering で、 画面に映らないオブジェクトがGPUに投入されていないか確認してみましょう。 また、各プラットフォームのGPU解析ツールで、 GPUから見たプロファイルもできます。 (こちらは、エンジニアにお願いしましょう！)
  55. 55. Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない)
  56. 56. Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない) 13(+7)16:43
  57. 57. Depth Test のGPU内部の動作
  58. 58. Depth Test 0. 何もないシーンに。。。 Color Buffer Depth Buffer
  59. 59. Depth Test 1. 赤いポリゴンが描画されて。。。 Color Buffer Depth Buffer①
  60. 60. Depth Test 2. 青いポリゴンが描画されて。。。深度比較されて遠くのオブジェクトは消える。 Color Buffer Depth Buffer① ②
  61. 61. Depth Test Q. この赤の裏に隠れた青のピクセル達は、計算されるんでしょうか？？？ Color Buffer Depth Buffer① ②
  62. 62. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader
  63. 63. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader 頂点シェーダで、画面のどこにポリゴンがあるかを計算します。
  64. 64. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader ラスタライザでそのポリゴンがどのピクセルを埋めるかを判断します。
  65. 65. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader そしてPixel Shaderでピクセルの色を計算する Rasterizer
  66. 66. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader Pixel Shaderの前に、各ピクセルに描画されるデプスは決まってすよね？ ？
  67. 67. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader PreZ: Pixel Shaderの前でDepth Test及びDepth Writeを行う Pre Z Rasterizer
  68. 68. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader そしてPixel Shaderでピクセルの色を計算する Pre Z Rasterizer
  69. 69. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader 次に青いポリゴンが奥に投入されても。。。。 Pre Z Rasterizer
  70. 70. 描画の流れをGPU的に追っていきます。 Color Buffer Depth Buffer Pixel Shader Vertex Shader PreZで先にDepth計算と比較をするので。。。 Pre Z Rasterizer
  71. 71. 描画の流れをGPU的に追っていきます。 Pixel Shaderでこの重なった部分のピクセルは計算されません。 めでたしめでたし。。。 Color Buffer Depth Buffer Pre Z Pixel Shader Rasterizer Vertex Shader
  72. 72. Color Buffer Depth Buffer Pixel Shader Rasterizer Vertex Shader Pixel Shaderの前に、各ピクセルに描画されるデプスは決まってすよね？ ？ 本当か？
  73. 73. Color Buffer Depth Buffer Pixel Shader Vertex Shader Pixel Shaderを走らせないと最終的なDepthがわからない例: 1 アルファテスト Pre Z Rasterizer
  74. 74. アルファテストを行うMaskedマテリアル
  75. 75. Color Buffer Depth Buffer Pixel Shader Vertex Shader Pixel Shaderを走らせないと最終的なDepthがわからない例: 2 Pixel Shader内部で無理やりDepthを書き換える Pre Z Rasterizer
  76. 76. PixelのDepthを変更するPixel Depth Offset
  77. 77. この様なシェーダに出くわすと、GPUは自動的に、 シェーダを計算してからDepth処理を行う、Post Zというものに切り替えます。 Color Buffer Depth Buffer Pre Z Post Z Pixel Shader Rasterizer Vertex Shader
  78. 78. これらを意識していないと、 PreZがOffになり、 不要なPixel Shaderが走る可能性があります。
  79. 79. 駄目な例: 不透明だけどとりあえずMaskedにパラメータ入れておく Pre Z Post Z Pixel Shader Rasterizer Vertex Shader
  80. 80. 駄目な例: 使わないけど、Pixel Depth Offsetをパラメータ化 Pre Z Post Z Pixel Shader Rasterizer Vertex Shader
  81. 81. マスターマテリアルに汎用性を持たせるために、 MaskedやPixel Depth Offsetをパラメータ化している場合、 PreZが走っているかのチェックが必要です。
  82. 82. PreZ / PostZどちらが走るかは、 GPU内部の処理のため、UE4では観測できません。 エンジニアにお願いして、 各プラットフォームのGPUプロファイラを使ってください。
  83. 83. Base Passで注意すべきこと • 無駄な頂点を計算させない カメラに入らないオブジェクトをGPUに投入させない • 無駄なピクセルを計算させない PreZの効果を不必要に消させない • 無駄にシェーダを重たくしない (こちらはマテリアル作成の問題で今回は触れない)
  84. 84. BasePass まとめ Base PassはG-bufferを作成するフェイズです。 OpaqueとMaskedマテリアルが投入されます。 オブジェクトの投入が直に響く箇所です。 バウンスの設定を確認し、無駄な頂点計算をさせないように。 マテリアルを確認し、無駄なピクセル計算をさせないように。
  85. 85. Advanced: G-Bufferの拡張 20(2)
  86. 86. G-Bufferの拡張(エンジン拡張) もんしょさん(@monsho1977)の上記の記事では、 実際にソースコードを改変して、G-Bufferを拡張する方法を説明しています。 http://monsho.blog63.fc2.com/blog-entry-191.html
  87. 87. おぎまふさん(@ogimafu) はG-Bufferを拡張し、 独自のToon Shadingを実装 http://www.slideshare.net/TomohiroOgiwara/ue4meetup-63696087?ref=http://ogimafu.blogspot.jp/2016/07/3ue4meetup.html
  88. 88. ノンフォト描画については、G-Bufferを拡張しないで表現する方法などを、 弊社下田が中心にUE4 Forumで議論しております。 https://forums.unrealengine.com/showthread.php?88581- %E3%82%A2%E3%83%B3%E3%83%AA%E3%82%A2%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B34%E3%81%A7%E3%83%8E%E3%83%B3%E3%83%95%E3%82%A9%E3%83%88%E3%83%AA%E3%82%A2%E3% 83%AB%E6%8F%8F%E7%94%BB%E3%81%97%E3%82%88%E3%81%86%EF%BC%81
  89. 89. G-Bufferの精度の制御 Project Settings の Rendering内で、G-bufferの精度を変更できます。 映像系など高精細な絵作りが必要な場合、精度を上げてください。
  90. 90. Base Pass 一番重要かつ基本のパス Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  91. 91. Z prepass Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 22(3)16:52
  92. 92. Z Prepassとは？ Base Pass 全オブジェクトを 毎回G-bufferに書き出して。。。 とやるのは処理負荷が高い。。
  93. 93. Z Prepassとは？ Base Pass Z PrePass Depth-Bufferのみを作成するパスを BasePassの前(pre)に仕込んでおく。 BasePassで実際にG-Bufferに書き出す のは前もって用意したデプスに勝つピ クセルのみとなり、処理負荷が減る “可能性”がある。
  94. 94. Z Prepass Off ver. のBasePass描画
  95. 95. ＧＯＡＬ
  96. 96. Z Prepass ON ver. の BasePass描画
  97. 97. Z prepassで背景のデプスバッファを作成
  98. 98. Z Prepassの設定場所(Project Settings) Project Settings / Rendering内の Early Z-passというタブでおこなえる。 また、下のMovables in early Z-passでMovableメッシュもこのEarly-Zに参加させるか指定可能
  99. 99. Decide Automaticallyの挙動 Defaultのこの設定ですが、十中八九Opaque Meshes Onlyになると考えてOKです。
  100. 100. Z Prepassの各オブジェクトの設定場所 (Use as Occluder) 各オブジェクトのRenderingタブ内に、 “Use as Occluder”という項目がある。 この設定がDefaultでONだが、これをOff にすることで、Early-Zへの参加の有無を オブジェクト単位で調整できる。
  101. 101. Z prepassの効き目と注意点 Z prepassは、 BasePassのピクセル処理負荷を下げる代わりに。。。 Z prepassでもジオメトリを投入します。 ポリゴン数が多いシーンでは、 逆にZ Prepassが処理負荷につながるケースもあります、 こちらをOn/Offしてみて、 採用の判断をしていただければと思います。
  102. 102. Z prepass Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  103. 103. Custom Depth/Stencil ちょっと脱線。。 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting Custom Depth / Stencil 25 (3)16:55
  104. 104. Custom Depth/ Stencil 特定のメッシュのDepthだけを別バッファに書き出す機能とそのバッファ名 本来のDepthBuffer もう一つ別のDepthBuffer
  105. 105. Custom Depth/ Stencil Project SettingのRendering項目にある、 “Custom Depth-Stencil Pass”をONにしてください。
  106. 106. Custom Depth/ Stencil 各メッシュのRender CustomDepth Passにチェックをいれる
  107. 107. Custom Depth/ Stencil 試しにキャラクター全部のカスタムDepthをONにしてみる。
  108. 108. Alweiさん(@aizen76) の上記のブログでも Toon ShadingのマスキングのためにCustom Depthを使用 http://unrealengine.hatenablog.com/entry/2016/05/30/220000 Custom Depthなし Custom DepthありCustom Depth
  109. 109. らりほまさん(@rarihoma) の上記のブログでは D言語君のマスクとしてCustom Depthを使用 http://rarihoma.xvs.jp/2015/02/22/1/#customdepth-
  110. 110. Custom Depth/ Stencil Q. Custom Depth を作成するのは重たいでしょうか？
  111. 111. Custom Depth/ Stencil A. Custom Depth を描くオブジェクトが増えれば増えるほど、重たくなります。
  112. 112. Custom Depth/ Stencil 先ほどのシーンでプロファイルしてみます。
  113. 113. Custom Depth/ Stencil 処理負荷比較 Custom Depthもほぼ同等の負荷がかかります BasePassのキャラクターレンダリング負荷
  114. 114. Custom Depth/ Stencil Custom Depth / Stencilにチェックを入れたオブジェクトは、 もう一度オブジェクトがGPUに投入されて計算されます。 その分GPUコストにつながるので、 ちゃんとプロファイリングして使ってください
  115. 115. Custom Depth/Stencil ちょっと脱線。。 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting Custom Depth / Stencil
  116. 116. Pre-Lighting Decal & AO Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 28(5)16:58
  117. 117. Decal Ambient Occlusion テクスチャをプロジェクションする。 弾痕や血しぶきとか。。 疑似的なライティング遮蔽情報 物体の接地感やディティールの増幅に
  118. 118. Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 後のLighting等で使われるので、 前もって処理しておく必要がある
  119. 119. Ambient Occlusion
  120. 120. AO • Ambient Occlusionとは？
  121. 121. Decal
  122. 122. Decal をUE4コミュニティの方達の資料を用いて紹介したいと思います。
  123. 123. http://konabe.blog.jp/archives/33883823.html 栗坂こなべさん(@kurisaka_konabe)の記事を参照させて頂きます。
  124. 124. インクが付くようなエフェクト、 右の図の様にプレーンを置くとなると、ぎりぎり面の上に置かなければいけないし、 壁際のコーナーなどでは不具合が生じる
  125. 125. Decalはボックス形状で、プロジェクションするので、 複雑なオブジェクトにも対応しています。
  126. 126. Decalは便利なのですが。。。 事前に焼き付けたライティングの干渉など、 ライティングの問題が多いです。
  127. 127. ずしさん(@shiba_zushi)の ツイートを参考させて頂きます。
  128. 128. https://twitter.com/shiba_zushi/status/736443001820454912
  129. 129. https://twitter.com/shiba_zushi/status/736443290791202816
  130. 130. https://twitter.com/shiba_zushi/status/736443563806838785
  131. 131. アンコウさん (@dgtanaka) もこの問題について取り組んでいます 「スカイライトを配置するとデカールが透ける問題調査」 https://trello.com/c/fkJo51iu/12--
  132. 132. UE4もくもく会 = (ソースコードリーディング会) にて資料を公開してくれています https://trello.com/c/fkJo51iu/12--
  133. 133. このライティングの不具合を解消するために D-Buffer という解決策をUE4は提供しています。
  134. 134. Project Settings / Rendering内にある D-Buffer DecalsをONにすることにより、この問題を解決できます。
  135. 135. https://twitter.com/shiba_zushi/status/736446424028569602
  136. 136. D-Bufferデカールの具体的な仕組みや負荷など、 詳細に記述してくれています。 https://twitter.com/shiba_zushi/status/736443563806838785
  137. 137. Pre-Lighting Decal & AO Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  138. 138. Lighting Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 33(7)17:03
  139. 139. LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のShadow Map
  140. 140. LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のShadow Map
  141. 141. ライティング事前計算機能: Lightmass
  142. 142. ライティング事前計算機能: Lightmass たった数時間で。
  143. 143. ライティング事前計算機能: Lightmass この計算をエディタの裏でしているのがLightmassです
  144. 144. ライティング事前計算機能: Lightmass 先月に、Lightmass専門の勉強会を行いました。 資料や情報がForumにあがっていますので、参考にしてください
  145. 145. 建築ビジュアリゼーションの真茅健一さんが、 ルイスバラガン邸をUE4で再現し、 その制作フローを講演してくれています @torashami
  146. 146. LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のShadow Map
  147. 147. LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のShadow Map
  148. 148. Stationary Lightのメインの制約
  149. 149. Stationary Lightのメインの制約 影付きStationary Lightを5つ以上重ねると、 5つ目以降のライトが”自動的に”MovableなLightになる。
  150. 150. Stationary Lightのメインの制約 “Stationary Light Overlap”で Stationary Lightの重なり具合を確認できます。 処理負荷が読めなくなるので、赤は基本的になしにしてください！
  151. 151. Stationary Lightの影については、 上記ブログが参考になります http://darakemonodarake.hatenablog.jp/entry/2015/12/16/UE4/Stationary
  152. 152. LightのMobilityのおさらい 事前計算なし ライト 全てRuntimeで計算 LightMap生成用 ライト 全て事前計算 ShadowMap 事前計算ライト Runtime: Lighting 事前計算: 静的オブジェクト のShadow Map
  153. 153. Deferred Lightingは 影がなければ動的ライト沢山おいても軽い？
  154. 154. 範囲の小さい Movable Lightを100個 範囲の大きい Movable Lightを8個VS
  155. 155. Light Complexity Lightingの負荷を大まかに見積もる機能
  156. 156. 範囲の小さい Movable Lightを100個 範囲の大きい Movable Lightを8個VS Light Complexityでの比較 (青->緑->赤と高負荷を示す)
  157. 157. Q: Deferred Lightingならライトを沢山おいていいのか？ ライトを沢山を”置けます”が、 ライトが触れるピクセルが増えれば増えるほど処理負荷は増えます。 簡易的に、Light Complexityという機能があるので、 そちらで高負荷なライティングの場所を探りましょう。
  158. 158. 発展編 Q. Static LightはRuntimeに影響受けないでしょうか？
  159. 159. 発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ いいえ
  160. 160. 発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ 試しにStatic Lightを3000個置いてみる。
  161. 161. 発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ CPU プロファイラで見ると、 “Init Dynamic Setup”に処理負荷が。 UE4ではStatic Lightに何か変更があっ た際(Dirtyフラグが立った場合)、自動 で動的ライトに切り替える機能があり ます。 そのために、Static Lightのデータを、 ランタイム上でも一度チェックします
  162. 162. 発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ いいえ CPU(Render Thread)の負荷になります
  163. 163. 発展編 Q. Static LightはRuntimeに影響受けないでしょうか？ UE- 31804で対応しています。
  164. 164. バグトラックが公開されました。
  165. 165. UE4のWebサイトから ISSUESを選択してください。
  166. 166. このバグはまだ公開されていなかったorz
  167. 167. LightのMobilityのおさらい 各種設定とその特徴を理解して、正しく使いましょう。 「とりあえずStationary 」はご法度
  168. 168. Lighting Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  169. 169. Reflection Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 40(3)17:10
  170. 170. Reflection Probe 事前計算で静的シーンの ReflectionMapを作成 Screen Space Reflection 動的に反射を作成、 画面に見えない反射は 表現できない Planar Reflection 平面限定だが、完璧に 動的に反射を表現 重たいので映像向け
  171. 171. ドキュメントと、専用のサンプルまでと非常に充実している Reflection
  172. 172. Reflections Sample
  173. 173. 静的なReflection エディタ内部で事前にキャプチャするか、 特定のCubeMapを指定できる。
  174. 174. 静的なReflection Project SettingsでCaptureする CubeMapのサイズを変更できる。
  175. 175. 静的なReflection 複数のReflection Probeの混ざり方
  176. 176. 静的なReflection 複数のReflection Probeの混ざり方
  177. 177. Reflection Captureの数は 処理負荷につながる？ 一個だけのReflectionCapture: 0.17ms 200個のReflectionCapture: 0.22ms
  178. 178. Reflection Captureの数は 処理負荷につながる？ 200個のReflectionCapture: 0.48ms Radius = 200 200個のReflectionCapture: 2.01ms Radius = 1000
  179. 179. 静的なReflection: 配置方法 Reflection Probeの処理負荷は “Reflection Environment Compute Shader XXXX”に出てきます Lightingパスのライトと同様、 Probeの数よりも、それらが寄与するピクセル数が多いほど処理負荷が高い。 よって、不用意に半径を大きくすべきではない。 (しかし、ライト程負荷が跳ね上がることはないので、 そこまでここがボトルネックになることはなさそう。。。)
  180. 180. 静的なReflection: 配置方法 UE4 documentationに記載されている 配置方法。 全体を覆う赤: Reflectionがシーン全体で なくならないようにする 部屋単位で覆う青: メイン。大まかな整合性はここで定義 オブジェクトのディティールとしての緑: Reflectionが映える特殊なオブジェクト にのみ配置
  181. 181. 動的なReflection Screen Space Reflection 長所 • 完全に動的にReflectionを生成 事前計算なし 短所 • 画面範囲外の反射は取得できない • ノイズが多い • 半透明の映り込みが正しくない
  182. 182. Planar Reflection 4.12から生まれた機能、平面のみ可能、 非常に高負荷で、シーンを二回レンダリングしているようなもの
  183. 183. Planar Reflection vs Screen Space Reflection SSRはあくまで画像範囲内の疑似的なReflection
  184. 184. Reflection Reflectionには静的なものと動的なものを組み合わせて実現します。 静的なものは配置方法を、 動的なものはクオリティと処理負荷を、 それぞれ意識して使用してください。 ReflectionはUE4 Docで詳細が沢山記載されているので、 そちらも併せて参考にしてください。
  185. 185. Reflection Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  186. 186. 半透明 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 43(9)17:13
  187. 187. 半透明は UE4に限らず 現代のリアルタイムレンダリングの最大の課題の一つ
  188. 188. 半透明の問題とUE4上の対策 1. Depth描画をしない 2. 描画負荷
  189. 189. Eeffectをシーンに置いてみる
  190. 190. Depthは何も書かれていない
  191. 191. 半透明の問題とUE4上の対策 Depthを描画しないため Depthを用いるエフェクトで問題が起こる
  192. 192. Depth Of Fieldをかけてみる
  193. 193. この不一致を解決するために Separate Translucency という機能をUE4は用意しています。
  194. 194. Lighting Post Processそれまでの パス 半透明描画 パス Depth Of Field
  195. 195. Lighting Post Processそれまでの パス Depth Of Field Separate Translucency Pass 半透明描画 パス
  196. 196. Separate Translucency = ON
  197. 197. Separate Translucency ONOFF
  198. 198. Project 単位でSeparate Translucencyの設定 Project Settings / Rendering内
  199. 199. マテリアル単位で、 どちらのパスで描画 できるかも設定可能 (マテリアルの Translucencyタブ内)
  200. 200. Separate Translucency = ON 本来、遠くの煙にはボケてほしい。
  201. 201. Lighting Post Processそれまでの パス 半透明描画 パス Depth Of Field Separate Translucency Pass Separate Translucency のパスは Depth Of Fieldがかからない
  202. 202. UE4 フォーラムでスレッドがあります。 「半透明描画とDOFを両立させる方法について」 より良いアイディアがあれば、是非議論していければと思います。
  203. 203. マテリアル単位で、Depth Of Fieldのパラメータを取得できる “Depth Of Field Function”ノード
  204. 204. DOF Functionなし DOF Functionあり
  205. 205. 半透明の問題とUE4上の対策 1. Depth描画をしない 2. 描画負荷
  206. 206. どちらが重たいでしょう？？ 画面全体の色を変えるPostEffect 煙のエフェクト一個
  207. 207. ピクセル描画の主な負荷 = 各ピクセル描画の重たさ * ピクセル数
  208. 208. 半透明描画では、 透明でも沢山のピクセルを描画している可能性がある 煙のエフェクト一個ワイヤーフレーム表示
  209. 209. たった一個のエフェクトでも、描画するピクセル数が増えれば、 PostEffect以上の負荷に簡単に跳ね上がる。 画面全体の色を変えるPostEffect 煙のエフェクト一個
  210. 210. 重なり具合を確認できる Debug View Shader Complexity
  211. 211. ピクセル描画の主な負荷 = 各ピクセル描画の重たさ * ピクセル数 どのように処理ピクセルを減らすか？
  212. 212. UE4でのピクセル描画負荷対策 1: Separate Translucencyの解像度削減 2: Particle Cut Out
  213. 213. Lighting Post Processそれまでの パス 半透明描画 パス Depth Of Field Separate Translucency Pass このバッファの解像度を減らすことで描画ピクセルを減らす r.SeparateTranslucencyScreenPerenctage コマンド
  214. 214. Resolution = 100% : 0.44ms
  215. 215. Resolution = 50% : 0.32ms
  216. 216. Resolution = 10% : 0.2ms
  217. 217. Separate Translucencyをお使いの場合 r.SeparateTranslucencyScreenPerenctage コマンドで、 クオリティと処理負荷を比較してみてください
  218. 218. UE4でのピクセル描画負荷対策 1: Separate Translucencyの解像度削減 2: Particle Cut Out
  219. 219. UV-Animationによるスプライト表示では、 透明部分が不要に出てきてしまう場合が多い
  220. 220. ”Particle CutOut” Particleの透明部分を、自動でポリゴン分割してくれる機能
  221. 221. ポリゴン数は少し増えるが、大幅なピクセル描画負荷を削減 Paragonではこれでエフェクトの描画負荷が3分の１に。
  222. 222. mokoさんの上記ブログで、詳細な設定方法を説明して頂いております http://effect.hatenablog.com/entry/2016/07/04/015542
  223. 223. 半透明の問題とUE4上の対策 1. Depth描画をしない 2. 描画負荷
  224. 224. 半透明 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  225. 225. Post Process Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 52(5)17:22
  226. 226. Post Process なし
  227. 227. Post Process あり
  228. 228. Post Process ありPost Process なし
  229. 229. Post Process ありPost Process なし
  230. 230. Post Processの設定は位置(Volume内)、カメラ、 それぞれに設定可能
  231. 231. どちらも Post Process Volume内で 自身のポストエフェクトの設定 を調整可能。
  232. 232. 各々のPriorityとBlend Weightでそれぞれの設定を シームレスに変更することができる。
  233. 233. 様々なポストプロセスがあり、 個別の効果はUE4 Docを参照してください
  234. 234. UE4のPost Processingは順序が定まっています。 Depth Of Field Motion Blur Bloom Tone Mapping マテリアルエディターなどで自由にパスを入れ替えることはできません。 その中で、各エフェクトに関してパラメータを設定できます
  235. 235. ProfileGPUPost Process 設定 不一致
  236. 236. ProfileGPUは、具体的な実装に近い要素を記述しています。 どこがどこまでかわからない場合は、エンジニアに相談してください。
  237. 237. さらに詳細に調整したい場合、、 エディタに出ていないコマンドで様々な設定ができます。
  238. 238. Bloomの設定、沢山パラメータがあるが、 コンソールコマンドでも設定できる項目がある。
  239. 239. r.BloomQuality 5r.BloomQuality 0 r.BloomQuality 1 r.BloomQualityコマンドでBloomの広がりが変更され。。。
  240. 240. r.BloomQuality 5r.BloomQuality 0 r.BloomQuality 1 さらに ProfileGPUで見える処理のフローも変わる。
  241. 241. コマンドの意味は、 いままではソースコードのコメントを読むしかなかったが。。
  242. 242. 4.13からConsole Variablesのヘルプをローカルに保存する機能が。
  243. 243. 英語のみだが、各コマンドの意味を検索できるようになっている
  244. 244. Post Processing まとめ UE4のPost Processingのパスは固定です。 Profileの”Post Process”項目は、 Post Process Volumeの項目と違います。 しかも、設定によって処理の中身や負荷ががらりと変わることもあります。 ポストプロセスボリュームの設定項目だけじゃなく、 r.XXXXXというコマンドで様々な設定ができます。 処理見積もりがしやすい場所でもあります。 エンジニアと相談しつつ、早めに計測しましょう。
  245. 245. Post Process Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  246. 246. おわりに Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting 57(3)17:27
  247. 247. かけ足でしたが、UE4のレンダリングフローを見ながら、 要所でのTipsを説明していきました。 Base Pass Lighting Transparency Z PrePass Post Process Reflection Pre- Lighting
  248. 248. まとめ レンダリングの中身をしることで、 クオリティとパフォーマンスを両立することができます そのために、UE4は様々なツールを用意しています。 エンジニアと協力しつつ、色々な検証をしてみてください。
  249. 249. UE4はソースコードを公開しています。 (最近はバグトラッカーまで公開されました！) そしてありがたい事に、UE4コミュニティには沢山の優秀な人々がいます。 多くの方がオープンに情報を公開し、議論して頂き、 素晴らしい情報が日々蓄積されています。 今日、ご紹介できなかった方々や、 自分も把握し切れてない多くの方々に日々支えられております。 本当に感謝しております。 ありがとうございます。
  250. 250. ご清聴ありがとうございました Special Thanks!! ロブさんも、 アセット貸してくれてありがとうございます。 アンケートにご協力ください！ また、今日出せてない情報が沢山ありますので、 それらは、UE4 Forumで是非ポストモーテムできればと思います。

×