2021年东京奥运会就在这里。我已经等了很久了，特别是自从它因为大流行而被推迟之后。在观看一些比赛时，我观察到裁判做出的一些我不同意的决定。值得注意的是，2002年和2014年的花样滑冰成绩不仅困扰着我，也困扰着数百万奥运球迷。这让我不禁纳闷：“我们能教人工智能在奥运会上得分吗？”如果可能的话，我们可以使用自动评分系统作为可信、公正的第二意见。

什么是行动质量评估？

事实上，关于这个主题已经做了一段时间的研究，看看机器是否可以评估一个人执行动作的程度。这个概念被称为行动质量评估(AQA)。AQA是在分析绩效后通过评估分数来评估某个行动执行得有多好。它在许多应用中都很有用，不仅在体育方面，而且在医疗保健和音乐方面也是如此。例如，受伤的球员或行动不便的球员将能够自己进行物理治疗，而不必支付昂贵的物理治疗疗程。同样，例如，自动化的技能评估可以使社会经济弱势群体更容易学习一种乐器。

行动质量评估不是行动认可

AQA不同于动作识别，因为动作识别不量化动作的质量。此外，一个重要的区别是，一个动作可以从一个或几个图像中进行分类，但是为了评估一个动作执行得有多好，我们需要检查整个动作序列。

我们怎么教这台机器去做呢？

我们可以将AQA描述为有监督的学习问题，其中模型学习将动作的输入视频映射到动作质量分数。人类评委给出的分数就是我们的事实。由于通常情况下，动作质量分数具有连续分布，因此AQA被表示为一个回归问题。

评估通常包括以下两个部分：1)执行了什么；2)执行得有多好。当在奥运会上衡量一项表演时，裁判必须认识到运动员所做的是什么动作。难度分数较高但有一些错误的表演可能会导致比难度较低的表演获得更高的总分。

人类是如何做到这一点的呢？

举个例子，我们来谈谈奥运会中的跳水项目。在每个跳水运动员比赛之前，他们会在屏幕上显示他要进行的跳水的名称和相关的难度。

仪表板包含关于将要执行的操作的大量信息。至于身体姿势，你可以选择直立、屈膝、收拢或自由姿势。“翻筋斗”和“转体”前面的数字显示了每种动作的表演数量。当涉及到确定潜水员的表现时，所有关于所做工作的细粒度细节都是重要的。裁判员在运动员跳水前得到了所有这些信息。因此，从视频中学习正确的功能对于AQA至关重要。

到目前为止已经做了什么？

利用人体姿态信息作为动作质量表征的AQA进行了初步研究。在给定图像或视频的情况下，姿势估计是识别、定位和跟踪人体主要关节(如肘部或膝盖)的任务。从姿势估计中，他们从视频中提取人体运动特征，并使用支持向量回归(SVR)将运动员的动作映射到奥运会项目得分。

然而，这种方法存在一个问题。在跳水的情况下，如下图所示，形式是非常重要的，因为你不想在你的胸部和双腿之间有太多的空间。同样，潜水员下水时产生的水花也是评分标准的重要组成部分。你不会想引起太大的水花的。

为了捕捉动作质量中如此重要的视觉线索，我们可以尝试从三维卷积神经网络(C3D)中捕捉时空特征，而不是依赖于姿势估计，这在类似的动作识别任务中显示出了令人振奋的结果。研究表明，C3D的一个变种比以前的型号工作得更好。

为了更进一步地从视频中捕捉细节，建议使用多任务方法。多任务学习(MTL)的概念是受人类学习的启发。当我们学习新的任务时，我们通常学习更简单或相关的任务，这给了我们必要的技能来获得更复杂的技术。应用这一概念，为了让模型学习跳水视频的细粒度细节，我们教模型学习(1)如何对动作进行分类，(2)如何生成评论和(3)如何为动作评分。这样做的动机是，详细的行动识别是对“执行了什么”问题的答案。评论是一种口头描述，包含了关于动作执行的优缺点，是对“动作执行得有多好”这一部分的回答。

模型体系结构

它从将输入视频提取到图片帧开始。在下面的示例中，总共从输入中提取了96帧。为了学习共享表示或一般特征，使用了3DCNN，但它们需要很大的存储器，并且不能用3DCNN一次学习全部96帧。因此，96帧被分成小片段：6组，每组16帧。他们通过公共网络主干来学习共享表示。我们取这6组帧的平均值。到目前为止，我们已经将输入视频编码成与运动员收集的总AQA点数相对应的表示形式。然后，编码的表示通过分数回归器和动作分类器。对于字幕生成器，串联的C3D表示作为输入发送，而不取平均值。最后，将加权3的损失相加，得到最终损失。

基于人工智能的App评判奥运赛事

基于多任务AQA模型，我们创建了一个应用程序，可以处理奥运会跳水视频并输出分数，就像人类裁判一样！在这里试试我们基于人工智能的奥运会裁判：https://share.streamlit.io/gitskim/aqa_streamlit/main/main.pyhttps://share.streamlit.io/gitskim/aqa_streamlit/main/main.py

目前，这种机器学习模型仅适用于潜水视频。尽管如此，它可以很容易地扩展到其他个人运动，如体操、单板滑雪、滑雪等。这个Web应用程序是使用StreamLit制作的，其源代码在这里：https://github.com/gitskim/AQA_Streamlit.https://github.com/gitskim/AQA_Streamlit

参考文献