1. 磐创AI首页
  2. Medium

训练没有DensePose标记的高质量模型

有没有可能训练一个高质量的模型,在没有相应的DensePose标记的情况下,从照片中预测动物身体表面的3D坐标?答案是肯定的!

Facebook AI的研究人员在CVPR 2020大会上介绍了这个问题。

关于DensePose任务

早些时候,这些研究人员向科学界展示了一个新的DensePose-Coco数据集和一个使用这些数据的神经网络架构(文章)。此数据集由来自COCO 2014年的图像中经过特殊组装的人物标记组成。article

有关数据集的详细信息

数据包括:

  • 包围盒的人在照片中,
  • 像素完美的前景-背景蒙版,
  • 在上面的面具内分割出32倍的身体部位,
  • 以及针对每张照片的一大组三元组(c,u,v),其中c是身体部位的索引,u,v是身体部位内的测地线坐标。

它们的组装方式如下:

该任务是确定人体图像(在分割遮罩内)上的随机投掷点与3D人体模型的6个预绘制图像上的点之间的对应关系,即在不同角度的SMPL模型的6个2D投影上的点之间的对应关系。在得到这个标记后,研究人员恢复了人体表面这些点的(c,u,v)坐标。

根据这一原则,为可可2014数据集中的5万张人的图像收集了500万分。

这类数据使我们能够建立一个类似于Mask-RCNN的模型,用于从图像中预测具有3D坐标的掩模。

这一决定值得注意的是紧随其后的着装。因为神经网络可以让你得到一个人的模型,所以你可以在这个模型上放一个衣服模型。示例如下:

视频格式的可视化可以在这里找到。here

现在来说说猴子们

在这篇新论文中,研究人员建议使用DensePose-Coco和Coco数据集的标记来解决预测动物表面3D坐标的类似问题。但是,建议不要根据上述算法对动物图像进行标记。有人争辩说,现有的标记不仅可以用于黑猩猩,也可以用于任何其他在解剖学上与人类不太相似的动物。

通过这种方式,研究人员设法以DensePose平均精度等于34.9为度量标准来实现质量。在标记了一类人的数据后,第一篇文章中的模型显示结果=46.8,考虑到度量从0到100变化的事实。知识转移效果好吗?this way

为了衡量新模型的质量,有必要标记一定数量的黑猩猩照片(就像对人类一样)。为此,提出了一种方法来恢复人体模型的SMPL点与非常详细的黑猩猩艺术3D模型之间的对应关系。

这样不仅可以收集评估所需的标记,而且不会显著更改衡量模型质量的代码。

给我看密码!

与博览会等著名科学团体发表的文章通常情况一样,这些文章都附有代码。对于这两篇文章,都可以在GitHub上的官方Detectron2资源库中找到。GitHub

第一篇文章中的早期代码是使用基于Caffe2的第一版Detectron编写的,也可以在GitHub上找到。

原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2021/08/02/%e8%ae%ad%e7%bb%83%e6%b2%a1%e6%9c%89densepose%e6%a0%87%e8%ae%b0%e7%9a%84%e9%ab%98%e8%b4%a8%e9%87%8f%e6%a8%a1%e5%9e%8b/

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息