DirectX12 を使用したシェーダー上への独自ニューラルネットワーク構築と描画品質向上のためのリアルタイムレンダリングへの応用
講演形式
レギュラーセッション
講演時間
09月05日(木) 11:20 〜 12:20
資料公開
予定あり
受講スキル
DirectX や Vulkan などグラフィックス API への知識があり Compute Shader を触ったことがある方
Tensorflow や Chainer などのニューラルネットワークフレームワークの基礎的な知識がある方
得られる知見
今後のグラフィックスエンジンのトレンドの一つとなる知識
DirectML などの機械学習フレームワークのリアルタイムレンダリングでの使用方法
セッションの内容
レンダリングパイプライン上に構築された Skip Connection を含む Encoder-Decoder モデルは描画品質を向上させる万能フィルターとなり得るかがテーマにあり、このセッションでは機械学習のリアルタイムレンダリングへの応用について扱います。Compute Shader での MNIST による多値分類や CNN のサンプル実装から始まり、ポスト処理的に出力となるピクセル値を推定し、ニューラルネットワークでの Denoising や AA や SS を実現する画像処理モデルを提示します。リアルタイム性が重要な環境において、低レイテンシーでの推論を実現するための Compute Shader の最適化と時間的に安定したピクセル値の出力方法なども解説します。