论文超详细精读|六千字：ICCV19-PIFu( 三 ) _内存对齐

（数字化管道）
输入一张图片，用于表面重建的PIFu可以预测穿着衣物的人的连续的内外概率场，在这个概率场中可以很容易地提取等值面。（3.1 部分详细说明）同样，用于纹理推断的PIFu（Tex-PIFu）在表面几何形状的三维位置上输出一个RGB值，使纹理推断能够在自闭的表面区域和任意拓扑结构的形状中进行（3.2 部分详细说明）。此外， PIFu可以自然地处理单视图和多视图的输入，这使得在有更多视图时可以产生更高的保真结果（3.3 部分详细说明）。3.1. -view（单视角表面重建）
对于曲面重建，作者将 truth的表面设置为连续的3D占有区域的0.5水平集：
损失函数
通过最小化均方误差的平均值来训练像素对齐隐式函数(PIFU)FV：
其中， X i ∈ R 3 ， F V ( X ) = g ( I ( X ) ) X_i∈R^3 ， F_V(X)=g(I(X)) Xi?∈R3 ， FV?(X)=g(I(X))是来自图像编码器g g g 的x = π ( X ) x=π(X) x=π(X) 处的图像特征， n n n 是采样点的数目。给定一对输入图像和在空间上与输入图像对齐的对应3D网格，通过最小化E q 3 Eq3 Eq3 来联合更新图像编码器g g g 和PIFu的参数 F V F_V FV? 。
在推理过程中，作者对3D空间上的概率场进行密集采样，并使用 Cube算法提取阈值为0.5的概率场等值面。这种隐式曲面表示适用于具有任意拓扑的细节对象。除了PIFU的表现力和记忆效率外，作者还开发了一种空间采样策略，这是实现高保真推理的关键。
训练数据的分辨率在实现隐含函数的表现力和准确性方面起着核心作用。与基于立体像素的方法不同， PIFu方法不需要离散化 truth 3D网格。相反，可以使用高效的光线跟踪算法从原始分辨率的 truth网格中直接动态采样3D点。请注意，此操作需要防水网格。在非水密网格的情况下，可以使用现成的解决方案来使网格防水。此外，作者观察到采样策略在很大程度上影响最终的重建质量。如果对3D空间中的点进行统一采样，大多数点都远离等值面，这将不必要地将网络的权重偏向外部预测。另一方面，仅在等值面周围采样可能会导致过度拟合。因此，作者提出了基于曲面几何的均匀采样和自适应采样相结合的方法。作者首先对曲面几何体上的点进行随机采样，并为x、y和z轴添加具有正态分布 N ( 0 ， σ ) N(0 ， σ) N(0 ， σ)(在实验中 σ = 5.0 σ=5.0 σ=5.0 cm)的偏移量，以扰动它们在曲面周围的位置。3.2.（纹理推测）
给定曲面 X ∈ ? X∈? X∈?上的采样3D点，纹理推断的目标函数是采样颜色的L1误差的平均值如下：

文章插图
其中C ( X i ) C(X_i) C(Xi?) 是曲面点X i ∈ ? X_i∈? Xi?∈? 上的gound 值， n n n 是采样点的数量。作者发现，天真地训练具有上述损失函数的f c f_c fc? 会严重地受到过度拟合的影响。问题是， f c f_c fc? 不仅需要学习物体表面的RGB颜色，还需要学习物体的3D表面，以便f C f_C fC? 能够在推理过程中推断出不同姿势和形状的不可见表面的纹理，这是一个巨大的挑战。我们通过以下修改来解决此问题。首先，我们使用为曲面重建F V F_V FV? 学习的图像特征来调节图像编码器以进行纹理推理。这样，即使看不见的对象具有不同的形状、姿势或拓扑，图像编码器也可以专注于给定几何体的颜色推断。此外，我们还向沿曲面法线N N N 的曲面点引入了偏移量ε ～ N ( 0 ， d ) \～N(0 ， d) ε～N(0 ， d) ，这样不仅可以在精确的曲面上定义颜色，而且可以在其周围的3D空间上定义颜色。通过以上修改，可以将训练的目标函数重写为：