论文超详细精读|六千字：ICCV19-PIFu( 四 ) _内存对齐

式中 X i ′ = X i + ε ? N i X^{'}_i=X_i+\ \cdot N_i Xi′?=Xi?+ε?Ni? 。所有的实验都使用d = 1.0 d=1.0 d=1.0 cm 。
3.3. Multi-View （多视图立体）
其他视图提供了更多关于人的覆盖范围，应该会提高数字化的准确性。
多视点PIFu：通过将隐式函数f f f 分解为特征嵌入函数f 1 f_1 f1? 和多视点推理函数f 2 f_2 f2? ，可以将PIFu扩展为支持多视点输入。f 1 f_1 f1? 从3D世界坐标系中的每个视图计算嵌入的特征，从而允许从任意视图聚合。f 2 f_2 f2? 采用聚合特征向量来进行更具信息量的3D表面和纹理预测。
四、
在各种数据集上进行了评估，包括和Buff ，它具有基本事实测量，以及，它包含各种复杂的服装。
实现细节
由于PIFu的框架不限于特定的网络结构，从技术上讲，可以使用任何完全卷积的神经网络作为图像编码器。对于曲面重建，作者发现堆叠的沙漏结构是有效的，在真实图像上具有更好的泛化能力。用于纹理推理的图像编码器采用由残差块组成的结构。隐函数基于多层感知器，其层与图像特征F(X)和深度z z z 之间有跳跃连接( ) ，以有效地传播深度信息。TeX-PIFU将 F C ( x ) F_C(x) FC?(x)和用于曲面重建的图像特征 F V ( x ) F_V(x) FV?(x) 一起作为输入。对于多视点PIFu ，我们简单地将中间层输出作为特征嵌入，并应用平均汇集来聚合来自不同视点的嵌入。有关网络架构和培训过程的更多详细信息，
4.1（定量）
用三个度量来定量地评估我们的重建精度。在模型空间中，测量从重建曲面上的顶点到地面真实点的平均点到面欧几里德距离(以厘米为单位) 。还测量了重建的真实面和地面真实面之间的倒角距离。此外，作者还引入了法向重投影误差来衡量重建局部细节的精细度，以及从输入图像中投影的一致性。对于重建曲面和地面真实曲面，作者分别从输入视点在图像空间中渲染它们的法线贴图。然后，计算这两个法线贴图之间的L2误差。
4.2.（定性）
使用数据集中的真实输入图像展示了数字化结果。PIFu可以处理各种各样的衣服，包括裙子、夹克和连衣裙。PIFu可以产生高分辨率的局部细节，同时在看不见的区域推断合理的3D表面。还可以从一张输入图像中成功推断出完整的纹理，这使我们能够从360度查看我们的3D模型。作者展示了如何从一个2D输入视频中以3D形式数字化动态穿着的人类表演和复杂的变形。
五、作者引入了一种新的像素对齐隐函数，它将输入图像的像素级信息与3D对象的形状在空间上对齐，用于基于深度学习的服装人体从单一输入图像进行3D形状和纹理推理。与基于体素的表示不同， PIFu可以产生高分辨率的输出，因为其不受体积表示的高内存要求的限制。此外， PIFu演示了如何将该方法自然扩展到推断给定部分观察的人的整个纹理。与现有的基于图像空间正视图合成背部区域的方法不同， PIFu可以直接在表面上预测不可见区域、凹面区域和侧面区域的颜色。PIFu是第一个可以为任意拓扑形状内嵌纹理的方法。由于其能够从单个RGB摄像头生成穿着衣服的人的带纹理的3D表面，因此PIFu向从视频中单目重建动态场景又迈进了一步，而不需要模板模型。