注：本博客试图解释描述深度学习模型Social-LSTM的研究论文。论文可以在这里找到。here

为什么选择社交LSTM

Social LSTM是一个模型，它预测行人的未来轨迹(我们可以为其他类型的对象定制该轨迹–例如™轨迹)，给出他们过去的轨迹数据。

大多数早期的工作都受到以下两个假设的限制。

i)他们使用手工制作的函数来为特定设置建模-�交互-�，而不是以数据驱动的方式进行推断。这导致倾向于捕捉简单交互(例如，排斥/吸引)的模型，并且可能无法对更复杂、拥挤的设置进行泛化。

ii)他们专注于对彼此接近的人之间的互动进行建模(以避免立即发生碰撞)。然而，他们并没有预料到在更遥远的未来可能会发生的互动。

这就是Social LSTM填补空白的地方。

多么

该模型通过一种新颖的体系结构来模拟这一问题，该体系结构将对应于邻近序列的LSTM连接起来。特别是，它引入了一个“EUROUREœSIONEREURE”�池层，该层允许空间上邻近序列的LSTM彼此共享它们的隐藏状态。该体系结构可以自动学习在时间上重合的轨迹之间发生的典型交互。该模型利用现有的人体轨迹数据集，无需任何额外的注释即可了解人类在社交空间中观察到的常识、规则和惯例

什么

Models假设每个场景(来自俯视静电摄像机的帧序列)首先经过预处理，以获得所有人在不同时刻的空间坐标。在任何时间-瞬间，场景中的i？，œ？，·人都由他/她的xy坐标(xá，œ，yáá？，œ)表示。我们观察从时间1到T？，‘？，†？，>(输入序列)的所有人的位置，并为时间时刻T？，’？，†？，>+1到T？，šáµGB？，‘？(未来预测序列)预测他们的位置。

LSTM权重在所有序列之间共享。

隐藏状态的社会汇集

个体通过对周围人的运动进行隐含的推理来调整自己的路径。反过来，这些邻居又会受到周围其他人的影响，并可能随着时间的推移改变他们的行为。模型期望LSTM的隐藏状态能够捕获这些时变的运动属性。为了在多个人之间进行联合推理，MODEL引入了如图2所示的œ社会层�汇聚层。在每个时间步，LSTM单元从邻居的LSTM单元接收汇聚的隐藏状态信息。

利用时间˜tâuro™的隐藏状态来预测轨迹位置在下一个时间步长(xâuro™，yâuro™)á，œ？，Šâ，�的分布–euro˜t+1？euro™。(x？euro？t？y？euro™)á？，œ？，Š？，�在下一个时间步？EURO˜t+1？EURO™？

结果

在测试期间，作者使用经过训练的社会-LSTM(以及它-欧元™的修改)模型来预测i？，™？，·人的未来位置(xâuroœááá？，yâuro™ááá？，œ)。在测试期间，作者使用经过训练的社会-LSTM(以及It？uro LSTM的修改)模型来预测i？，œ？从时间T？，‘？，†？，>？，Š？，�到T？，šáµGb？，’？，“，它们使用来自前一个社会-LSTM单元格的预测位置(xáuro™áá？，œ，yâuro™ááá？，œ)，而不是真实的坐标(xá？，œ，yáá？？，œ)。

模型比较

• 线性模型(LIN)：作者使用现成的卡尔曼过滤在假设线性加速度的情况下外推轨迹。
• 碰撞避免(LTA)：作者报告了一个简化版本的社会力模型的结果，该模型只使用碰撞避免能量，通常称为线性轨迹避免。
• 社交力(SF)：作者使用了社交力模型的实现，在该模型中对群体亲和力和预测的目的地等几个因素进行了建模。
• 迭代高斯过程(IGP)：作者使用IGP的实现。与其他基线不同，IGP还使用有关人员最终目的地的附加信息。
• 作者？™Vanilla LSTM(LSTM)。这是社交-LSTM模型的简化设置，其中作者删除了“uroœSocial”�池层，并将所有轨迹视为彼此独立。
• 作者使用占用地图的™LSTM(O-LSTM)。作者展示了简化版本的社会-LSTM模型的性能。需要提醒的是，该模型在每个时间实例仅汇集邻居的坐标

使用的测试指标：

真实场景中的额外结果