神经网络渲染与逆渲染

目录:
【神经网络渲染】与【逆渲染】
神经渲染技术
可微渲染技术

【神经网络渲染】与【逆渲染】


入门介绍

神经网络渲染通常是指代使用神经网络作为和取代渲染器的一部分来实现对渲染速度和质量的优化、或拟合复杂材质外观等。

常见的神经网络渲染类型有:
【1】输入渲染中的使用蒙特卡洛估计得到的有噪结果,网络输出无噪结果。
【2】输入渲染中获得的中间信息(直接光照等),网络拟合这些中间信息来输出渲染结果。常见的思路有使用直接光照拟合多重散射照明。其实本质上与去噪是同一回事。
【3】使用神经网络作为数据结构来加速或者压缩信息。
【4】使用神经网络估计渲染结果,并实时使用新采样的结果去更新神经网络参数(类似于以前使用线性模型对渲染结果去噪,并通过回归来更新线性模型参数)。其实本质上与去噪是同一回事。
【5】使用神经网络去拟合简单的光照信息,例如拟合环境光遮蔽的信息。
【6】使用神经网络拟合一些复杂的材质反射函数。

逆渲染是通过一张/多张图像来恢复图像中的三维场景信息,例如物体三维结构的各种表示(点云、mesh或者体素等)、光照信息、材质信息、深度等。逆渲染是一个非常宽泛的概念,其中很多研究本质上都是图像处理或计算机视觉的任务,例如很多光照估计和深度估计的研究。
多视角三维重建、单目深度估计、数字三维资产、人工三维模型生成等概念最近也非常火。




综述

综述文章:
2003年: A Survey on Image-Based Rendering - Representation, Sampling and Compression
2020年:Tewari A, Fried O, Thies J, et al. State of the art on neural rendering[C]//Computer Graphics Forum. 2020, 39(2): 701-727.
2020年:Kato H, Beker D, Morariu M, et al. Differentiable rendering: A survey[J]. arXiv preprint arXiv:2006.12057, 2020.
2022年:Tewari A, Thies J, Mildenhall B, et al. Advances in neural rendering[C]//Computer Graphics Forum. 2022, 41(2): 703-735.
2022年:Neural Fields in Visual Computing and Beyond
2023年:NeRF Neural Radiance Field in 3D Vision, A Comprehensive Review
2023年:NeRFs The Search for the Best 3D Representation
2023年:Neural Radiance Fields (NeRFs) A Review and Some Recent Developments
2024年:A Survey on 3D Gaussian Splatting
2024年:Recent Advances in 3D Gaussian Splatting

· Differentiable rendering: A survey


· State of the Art on Neural Rendering (2020 CGF)


基于NeRF的渲染技术

本栏目旨在构建一个最全面的NeRF学习路线

步骤1:去B站看几个NeRF入门的视频。然后对照原论文【NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis】学习,把大致流程掌握。

步骤2:下载pytorch版的源码【https://github.com/yenchenlin/nerf-pytorch】,对照本人整理和撰写的两篇全面解读的文档来学习源码:


神经渲染技术


各种逆渲染技术





基于3D Gaussian的渲染技术