【较真系列】讲人话-NeRF全解（原理+代码+公式）

吉人自有天香:
讲得真的很好，有一种茅塞顿开的感觉。我这里有一个疑问没懂，还麻烦大神解答下：就是通过采样得到64个粒子后，每个点输出的颜色和体密度的ground truth是什么呢，还是在计算loss的时候，看的是64个粒子的累加值？ 如果是累加值算loss，体密度的值如何确定呢？

【回复】回复 @吉人自有天香 : 这是很好的问题，loss不会直接监督每个粒子的密度和颜色，而是间接的监督粒子的积分，也就是预测的像素颜色。
【回复】回复 @SY_007 :大概了解了，因为最后颜色是每个粒子的体密度和颜色累加决定的，所以最后的颜色作为loss，也就间接控制了体密度和颜色。
【回复】我又看了下，loss用的是这个方向射线的最终颜色值
_棋士柯洁:
Up主你讲的真是太好了，比我看过所有nerf的教程都更容易理解，看知乎教程各种拽公式总觉得那些人在秀他们的数学功底装b，不是真的想要把知识传达出去，完全看不下去。。。 跪求讲一讲3dgs啊，同样是一堆大坑，看了好久也是一知半解

陈二斤同学:
UP们太有亲和力啦，讲的非常细致！希望坚持做下去，B站太缺少这样优秀的工科知识类UP啦！另外有群吗,可以建立一个粉丝群呀！[龙年]

铁铁学外语:
请问这个技术跟openAI现在的SORA视频生成模型的技术有关联吗

【回复】回复 @昼夜的裂痕 : 你这样搞出来的大概率是不符合3D一致性的。不管是Nerf，3DGS还是之前那些传统方法，生成的3D对象都是严格按照真实世界的坐标变换关系来生成的。而目前来看Sora是不能理解真实物理规律的，你简单粗暴的让2D图像or视频生成模型去生成3D它生成的是不符合3D一致性的，也就是给你脑补了一个它认为看起来差不多的图，但细究起来这些不同视角图并不符合实际的3D约束关系。
【回复】回复 @NeymarBob : 首先，抛开剂量谈毒性都是没有意义的。再者，nerf中的cam_T所做的pos_enc可以以类似形式embed到diffusion里面。
【回复】回复 @NeymarBob : 貌似已经有人在这么做了，用生成的视频做大场景重建，可能Sora生成的还行
新茶仙:
这是一个吴恩达级别，甚至推导和代码比吴恩达更细致的网课，恨不能把一半的币投给这个视频，另一半留给后面的DDPM

忘忧陵游:
讲的太好了，非常非常的细致，每一个点都是剖开来讲的，也给我们展现了问题的思考过程，对于入门观众简直是完美教程

MaliciousG:
up主讲的太好了，可以再出一期讲一讲，ngp是怎么对nerf进行加速的吗

SurOOOprise:
有个问题想问一下，就是那个16:11那边的Rays_o为什么有那么多需要一个矩阵来表达，我看那个世界模型里面原点一般不就是一个就好了吗？

【回复】每张图中的每个像素点对应的原点确实都是一个，但是取样方式有一种是在整个数据集的不同图片取样1024个像素点作为一个batch，这种取样方式的这个batch对应的Rays _o就不一样了
衡山後學祝小芸:
up讲得实在太好太好了！！请问注释的代码方便share一下嘛？感谢！

墨沫桐学:
三连辣！可以给个代码链接吗，求求哥哥姐姐了[脸红]

xixi不是笨蛋:
The volume density σ(x) can be interpreted as the differential probability of a ray terminating at an infinitesimal particle at location x.请问怎么理解论文中这句话呀，微分概率是什么意思，我现在只是把σ理解成密度[脸红]

水水三号:
讲的真的好，力赞，教程一定要坚持做下去！

Despair-tx:
请问您可以讲一下为什么nerf的训练和推理都很慢而且没有泛化能力吗