许多实用的3D传感系统，如立体相机或激光扫描仪，都会产生无结构的3D点云。该输出格式的选择实际上只是一个“最小公分母”，即可以用低级信号处理可靠地生成的最小公分母。大多数用户喜欢更高效、更直观的表示，它将扫描对象的几何形状描述为几何图元的紧凑集合，以及它们的拓扑关系-线框正是我们想要的。

我们的方法能够使用端到端的可训练深度网络将3D点云转换为线框模型。

什么是线框？

线框非常适合机械部件、家具或建筑内部等多面体结构。特别是，由于线框侧重于边缘结构，因此它们最适合于没有明显折痕边缘的分段平滑对象(相反，线框不太适合没有定义边缘的平滑对象或到处都有边缘的非常粗糙的对象)。它们在许多应用程序中最大的优势是易于在CAD软件中自动或交互地操作和编辑，因为它们使突出的轮廓和它们的连接性变得清晰。重建的线框可以驱动并帮助创建3D CAD模型，用于制造零部件、计量、质量检查以及可视化、动画和渲染。

为什么它具有挑战性？

从嘈杂的点云中推断线框是一项具有挑战性的任务。我们可以将该过程视为一系列步骤：找到拐角，精确定位它们(因为它们不包含在点云中)，然后将它们与适当的边链接起来。然而，这些步骤是错综复杂的。例如，角点检测应该“知道”后续的边缘检测：曲率受到噪声的影响(正如兴趣点检测器的任何用户都可以证明的那样)，因此要符合角点的条件，3D位置还应该是多个非共线边缘的看似合理的交汇点。

一种端到端可训练的深度架构，用于点云到线框转换→PC2WF。

介绍了PC2WF，一种端到端可训练的点云到线框转换的深度架构。这是一种概念上简单但有效的线框生成算法。

PC2WF由一系列前馈数据块组成：

• 脊梁。PC2WF首先提取每个三维点的特征矢量，该特征矢量对其几何上下文进行编码。我们使用了完全卷积几何特征[1]，这些特征紧凑且捕捉到了广阔的空间背景。主干对稀疏张量[2]进行操作，并在单个3D全卷积过程中高效地计算32维特征。

• 顶点检测器。此挡路对局部面片(点云中的邻域)执行二进制分类，将其分为包含角点的和不包含角点的局部面片(少数几个)。只有检测到包含角点的修补程序才会传递到后续挡路。它在训练过程中的损失函数是二进制交叉熵。
• 顶点定位器。顶点检测器通过一组预测包含角点的补丁。这样一个补丁的点连同它们的特征构成了本地化挡路的输入。它输出面片内顶点的位置。预测是由回归损失来监督的。
• 边缘检测器。边缘检测挡路用于确定哪些(预测的)顶点对由边缘连接。在训练阶段，存在正负样本数量极不平衡的问题。那么应该选择哪些边缘候选者反馈到这个挡路中，让边缘检测器挡路能够很好地学习预测边缘的存在呢？在文献[3]的启发下，我们精心设计了选拔机制。

我们从以下集合中为边缘检测器绘制输入边缘：

(A)地面真实值顶点之间的正边：该集包括地面真实值线框中的所有真实边。

(B)地面实值顶点之间的负边：有两种情况是相关的：“伪边”，即两个不共享边的地面实值顶点之间的连接。以及“不精确边”，其中一个端点不是地面真值顶点，但距离一个顶点不远(以涵盖距离正确边不远的疑难情况)。

(C)预测顶点之间的正边：两个“正确的”预测顶点之间的连接，这两个预测顶点都已被验证为与地面真实线框顶点重合，直到一个小阈值。

(D)预测顶点之间的负边：这些是(I)“正确”预测顶点之间的“错误链接”；以及(Ii)“硬负片”，其中两个顶点中恰好有一个靠近地面真实线框顶点，以覆盖“险些未命中”。

训练阶段采用平衡的二元交叉熵损失。在推理过程中，我们遍历连接任意两个(预测的)顶点的候选边的全连通图。到输入点的平均距离过高(即，不在任何物体表面上)的候选被丢弃。所有其他的都被送入边缘检测器进行验证。

端到端的可培训方法。具有可训练参数的体系结构的所有阶段都支持反向传播，以便可以端到端地学习模型。我们使用平衡权重来最小化联合损失函数：

示例结果。

我们也来看看我们的一些定性结果。

下面显示了基本事实、我们的PC2WF、EC-NET[4]和Polyfit[5]之间的直观比较。人们可以清楚地看到预测矢量边缘而不是“边缘点”的优势，因为它们会产生更清晰的结果。

总而言之。

在这篇文章中，我们提出了PC2WF，这是一种端到端可训练的深度架构，可以从原始的3D点云中提取矢量化的线框。该方法在人造多面体物体上取得了非常有希望的结果，比低级角点或边缘检测器更进一步。我们认为我们的方法是从健壮但冗余的低级视觉到紧凑的、可编辑的3D几何体的又一步。

对于感兴趣的读者，您可以在我们的出版物中找到所有详细信息：这里。here

刘勇，D‘Aronco，S.，Schindler，K.，Wegner，J.D.：PC2WF：从原始点云进行三维线框重建，国际学习表示会议(ICLR)，2021

我们还公开了我们的源代码：https://github.com/YujiaLiu76/PC2WFhttps://github.com/YujiaLiu76/PC2WF

参考文献

[1]Choy、Christopher、Jaesik Park和Vladlen Koltun。“完全卷积几何特征。”IEEE/CVF计算机视觉国际会议论文集。2019年。

[2]蔡俊英、克里斯托弗、郭俊英和西尔维奥·萨瓦雷塞(Silvio Savarese)。“4D时空卷积网络：Minkowski卷积神经网络。”IEEE/CVF计算机视觉和模式识别会议论文集。2019年。

[3]周，一朝，好志气，一马。“端到端线框解析。”IEEE/CVF计算机视觉国际会议论文集。2019年。

[4]于、乐泉等人。“EC-NET：一个边缘感知的点集整合网络。”欧洲计算机视觉会议(ECCV)论文集。2018年。

[5]南、亮亮和彼得·旺卡。“多边形拟合：从点云重建多边形曲面。”IEEE计算机视觉国际会议论文集。2017年。