有没有可能训练一个高质量的模型，在没有相应的DensePose标记的情况下，从照片中预测动物身体表面的3D坐标？答案是肯定的！

Facebook AI的研究人员在CVPR 2020大会上介绍了这个问题。

关于DensePose任务

早些时候，这些研究人员向科学界展示了一个新的DensePose-Coco数据集和一个使用这些数据的神经网络架构(文章)。此数据集由来自COCO 2014年的图像中经过特殊组装的人物标记组成。article

有关数据集的详细信息

数据包括：

• 包围盒的人在照片中，
• 像素完美的前景-背景蒙版，
• 在上面的面具内分割出32倍的身体部位，
• 以及针对每张照片的一大组三元组(c，u，v)，其中c是身体部位的索引，u，v是身体部位内的测地线坐标。

它们的组装方式如下：

该任务是确定人体图像(在分割遮罩内)上的随机投掷点与3D人体模型的6个预绘制图像上的点之间的对应关系，即在不同角度的SMPL模型的6个2D投影上的点之间的对应关系。在得到这个标记后，研究人员恢复了人体表面这些点的(c，u，v)坐标。

根据这一原则，为可可2014数据集中的5万张人的图像收集了500万分。

这类数据使我们能够建立一个类似于Mask-RCNN的模型，用于从图像中预测具有3D坐标的掩模。

这一决定值得注意的是紧随其后的着装。因为神经网络可以让你得到一个人的模型，所以你可以在这个模型上放一个衣服模型。示例如下：

视频格式的可视化可以在这里找到。here

现在来说说猴子们

在这篇新论文中，研究人员建议使用DensePose-Coco和Coco数据集的标记来解决预测动物表面3D坐标的类似问题。但是，建议不要根据上述算法对动物图像进行标记。有人争辩说，现有的标记不仅可以用于黑猩猩，也可以用于任何其他在解剖学上与人类不太相似的动物。

通过这种方式，研究人员设法以DensePose平均精度等于34.9为度量标准来实现质量。在标记了一类人的数据后，第一篇文章中的模型显示结果=46.8，考虑到度量从0到100变化的事实。知识转移效果好吗？this way

为了衡量新模型的质量，有必要标记一定数量的黑猩猩照片(就像对人类一样)。为此，提出了一种方法来恢复人体模型的SMPL点与非常详细的黑猩猩艺术3D模型之间的对应关系。

这样不仅可以收集评估所需的标记，而且不会显著更改衡量模型质量的代码。

给我看密码！

与博览会等著名科学团体发表的文章通常情况一样，这些文章都附有代码。对于这两篇文章，都可以在GitHub上的官方Detectron2资源库中找到。GitHub

第一篇文章中的早期代码是使用基于Caffe2的第一版Detectron编写的，也可以在GitHub上找到。