你好,我是Ahmet Furkan Demir,我即将在Medium平台上分享我的第一篇文章,这篇文章将是关于2D姿势估计的。我在Move On实习期间学到了这个主题,我做了研究,我想把它写下来给我的读者,希望你们喜欢,祝你们读得好。MOVE ON
位姿估计,在计算机视觉和机器人技术中,一个典型的任务是识别图像中的特定对象,并确定每个对象相对于某个坐标系的位置和方向。然后,例如,可以使用该信息来允许机器人操纵对象或避免移动到该对象中。位置和方向的组合被称为对象的姿势,尽管这个概念有时仅用于描述方向。外方位和平移也用作姿势的同义词。
根据其确定对象的姿势的图像数据可以是单个图像、立体图像对或通常相机以已知速度移动的图像序列。所考虑的对象可以是相当一般的,包括生物或身体部分,例如头或手。然而,用于确定对象姿势的方法通常是特定于一类对象的,并且通常不能期望对其他类型的对象很好地工作。
该姿势可以通过旋转和平移变换来描述,该旋转和平移变换将对象从参考姿势带到观察姿势。该旋转变换可以用不同的方式表示,例如,表示为旋转矩阵或四元数。
如果您想了解有关姿势估计的更多信息,可以阅读这些链接中的文章。
链接0:https://arxiv.org/abs/1812.08008,https://arxiv.org/abs/1812.08008
链接1:https://arxiv.org/abs/2012.13392,https://arxiv.org/abs/2012.13392
链接2:https://arxiv.org/abs/2103.15320,https://arxiv.org/abs/2103.15320
链接3:https://arxiv.org/abs/2006.01423,https://arxiv.org/abs/2006.01423
链接4:https://arxiv.org/abs/2103.15507,https://arxiv.org/abs/2103.15507
链接5:https://arxiv.org/abs/2103.10455,https://arxiv.org/abs/2103.10455
链接6:https://arxiv.org/abs/2103.07254https://arxiv.org/abs/2103.07254
使用Google Mediapipe进行手势估计
我们将使用Google的Mediapipe框架进行手势估计,您可以轻松地使用python输入您的视频或图像,然后得到经过处理的视频。
Mediapipe:MediaPipe为直播和流媒体提供开源、跨平台、可定制的ML解决方案。Mediapipe
✓蟒蛇Python
✓JavaScriptJavaScript
✓安卓系统Android
✓IOSIOS
对您使用上述代码挡路输入的视频进行手势估计,得到处理后的输出视频。除了手部姿势估计外,您还可以使用MediaPipeTM进行人体姿势估计。
基于OpenPose和OpenPifpaf的人体姿态估计
我们将使用OpenPose框架进行人体姿势估计,从GitHub库下载文件并使用cmake编译后,您可以轻松处理您的视频或图像。另一方面,OpenPifpaf可以简单地导入并与Python编程语言一起使用。
OpenPose:OpenPose代表了第一个在单个图像上联合检测人体、手、面部和脚部关键点(总共135个关键点)的实时多人系统。OpenPose
这本书的作者是吉尼斯·伊达尔戈、哲·曹、托马斯·西蒙、魏诗恩、雅达夫·拉杰、韩比尤尔·朱和亚瑟·谢赫。它由吉内斯·伊达尔戈和雅达夫·拉吉维护。
对您使用上述代码输入的视频进行人体姿态估计处理,得到处理后的输出视频。使用OpenPose,您可以进行手部姿势估计以及人体姿势估计。
现在让我们看看另一个人体姿势估计的框架。
OpenPifpaf:“OpenPifPaf:语义关键点检测和时空关联的复合字段”在PyTorch中的正式实现。OpenPifpaf
对您使用上述代码输入的视频进行人体姿态估计处理,得到处理后的输出视频。
其次,将位姿估计和目标跟踪相结合,构建了安全区域检测方案。在这个项目中,在标记了锋利、穿透和类似的危险工具后,如果有人进入这个危险区域,就会发出警告,所以我们的目标是通过防止在工业和工厂中失去肢体和生命来创造一个更安全的工作环境。
结束了
这就是我要告诉你的关于手和人体姿势估计的所有事情,如果你愿意,你可以通过我给出的文章和框架/工具来提高你自己在这个领域的水平,照顾好你自己,很快再见。
原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2021/07/13/%e5%9f%ba%e4%ba%8e%e4%ba%ba%e5%b7%a5%e6%99%ba%e8%83%bd%e7%9a%84%e4%ba%ba%e4%bd%93%e8%a1%8c%e4%b8%ba%e5%88%86%e6%9e%90%e5%9c%a8%e5%8d%b1%e9%99%a9%e5%8c%ba%e5%9f%9f%e6%8e%a7%e5%88%b6%e4%b8%ad%e7%9a%84/