论文超详细精读|六千字：ICCV19-PIFu( 二 ) _内存对齐

服装、头发和其他配件的3D表面完全被忽略了。对于紧身服装，有时可以使用每个顶点的位移向量来模拟服装。但更复杂的拓扑结构，连衣裙，短裙，长发等等，这些技术都失败了。于是有这样的无模板方法通过深度学习网络直接去生成人物的立体像素表示。由于立体像素表示对内存的要求很高，在输出中往往会缺少细尺度的细节。
最近，有人引入了一种多视图推理方法，通过从单个图像合成新的轮廓视图。
虽然多视图轮廓的内存效率更高，但凹区域很难推断以及一致生成的视图。
因此，精细尺度的细节无法可靠地产生。
相比之下， PIFu的内存效率高，能够捕捉图像中出现的细尺度细节，以及预测每个顶点的颜色。2.2 Multi-View 3D Human .（多视图3D人体数字化）虽然多视图捕获技术明显优于单视图捕获技术，但它们的灵活性和可部署性明显较差。折中方案是使用深度学习框架，从非常稀疏的视图生成合理的3D表面。但大这些方法至少需要三个视图才能产生合理的输出。2.3（纹理推断）当从单个图像重构3D模型时，可以很容易地从输入中采样纹理。然而，在闭塞区域的外观需要推断，以获得一个完整的纹理。与3D纹理推理问题相关的是视图合成方法，它可以从单幅图像或多幅图像中预测新视图。在服装人体纹理网格推断的背景下，有人引入了一种视图合成技术，可以从前视图预测后视图。前视图和后视图然后用于纹理最终的3D网格，然而自遮挡区域和侧视图不能处理。类似于图像嵌入问题，有人嵌入从检测到的表面点的输出中采样的UV图像，并且推断每体素的颜色，但输出分辨率却非常有限。另外一些人直接预测UV参数化上的RGB值，但他们的技术只能处理拓扑已知的形状，因此不适合服装推断。PIFu方法则能够以端到端方式预测每个顶点的颜色，并且能够处理任意拓扑的曲面。三、PIFu: Pixel-
【论文超详细精读|六千字：ICCV19-PIFu】PIFu在3D空间上学习具有像素对齐的图像特征而不是全局特征的隐函数，这允许学习的函数保留图像中存在的局部细节。PIFU的连续性质则允许以高效内存的方式生成具有任意拓扑的详细几何图形。此外， PIFU可以作为一个通用框架，可以扩展到各种共域，如RGB颜色。
目标

文章插图
保留图像中存在的细节的同时，重建穿着衣服的人的衬线3D几何和纹理。为此，引入了像素对齐隐函数(PIFU) ，它是一种存储效率高、空间对齐的3D曲面表示方法。隐函数将曲面定义为函数f的水平集，例如f(X)=0 。这导致了表面的存储器高效表示，其中嵌入表面的空间不需要被显式存储。
内容像素对齐隐函数
所提出的像素对齐隐函数由一个完全卷积的图像编码器g g g 和一个由多层感知器(MLPs)表示的连续隐函数f组成，其中曲面定义为一个水平集
对于一个三维点 X X X ， x = π ( X ) x=π(X) x=π(X)是其2D投影， z ( X ) z(X) z(X)是摄像机坐标空间中的深度值， F ( X ) = g ( I ( X ) ) F(X)=g(I(X)) F(X)=g(I(X))是 x x x处的图像特征。假设一个弱透视摄像机，但扩展到透视摄像机是简单的。注意， PIFu使用双线性采样获得像素对齐特征 F ( X ) F(X) F(X) ，因为 X X X的2D投影是在连续空间而不是离散空间(即像素)中定义的。