万岁！第十届IEEE人脸和手势分析与建模国际研讨会(AMFG)是2021年CVPR虚拟举办的又一次成功的研讨会。以下帖子于2021年6月19日举行，回顾了导致纸质演讲、主题演讲和最终颁奖典礼这一激动人心的一天的事件亮点。AMFG

主旨演讲的录像，以及论文的链接，也将被提供！

节目表

2021年6月19日(东部时间(ET))

下午3：00：欢迎词

下午3：10：主旨1：David Bau

下午3点55分：苗馨；莫申通；林元泽。EVA-GCN：基于图卷积网络的头部姿态估计

下午4点：朱厚、李佳宏、李耀志、许庆贤、李佳达、陈朱松。鲁棒多视角多人体三维位姿估计与跟踪的局部感知测量

下午4点05分：刘如帅；谭维军。EQFace：一种用于人脸识别的简单显式质量网络

下午4点10分：刘志婷；陈俊成；陈楚松；钱少毅。基于视频的无铃声人重新身份识别

下午4点15分：李智贤；巴塔莱，比诺德；金泰坤。基于跨域互学习的RGB和深度人脸解析

下午4：20：Rakesh Kumar，Ankith Jain；Bhanu，Bir。基于图注意卷积网络的地标关系微表情分类

下午4点25分：阿里的Pourramezan Fard；霍贾特的Abdollahi；穆罕默德的Mahoor。ASMNet：一种用于人脸对齐和姿态估计的轻量级深度神经网络

下午4：30：喝咖啡休息时间

下午5：00：主旨2：Sergey Tulyakov

下午5：45：Banerjee，Sandipan市；Joshi，Ajjen；Mahajan，Prashant；Bhattacharya，Sneha；Kyal，Survi；Mishra，Taniya。乐根：在利用人类感知判断的同时，不纠缠地操纵方向光和面部表情

下午5：50：维亚斯，卡森；姜乐；刘双军；奥斯塔巴巴斯，萨拉。一种用于人体姿态数据增强的高效三维合成模型生成流水线

下午5：55：基调3：刘明宇

下午6：40：颁奖典礼

下午6：45：研讨会休会

注释记号

标题：内容创建、操作和动画摘要的表示形式。“我不能创造的东西，我不明白，”费曼博士黑板上的名言如是说。创造或改变物体的能力要求我们了解它们的结构和变异因素。例如，要画一张脸，艺术家需要知道它的构图并掌握很好的绘画技能(后者对演示者来说特别有挑战性)。动画还需要了解对象的刚性和非刚性运动模式。这场演讲表明，深度生成模型的生成、操作和动画技能从这样的理解中受益匪浅。此外，我们看到，模型能够更好地解释它们在训练过程中看到的数据，它们能够生成更高质量的内容。理解和生成形成一个循环，在这个循环中，改进的理解改进了生成，甚至更多地提高了理解。为了说明这一点，我详细介绍了我们在三个方面的工作：视频合成和预测，通过运动重定目标来实现图像动画。我将进一步介绍视频生成的一个新方向，它允许用户在视频生成时播放视频。在这些作品中，每一件作品的内部表现都是为了更好地理解任务，从而提高生成能力。无需单个标签示例，我们的模型就能够理解变化因素、对象部件、形状、运动模式，并执行以前只有受过专门软件和硬件配备的训练有素的专业人员才能使用的创造性操作。

传记。谢尔盖·图利亚科夫(Sergey Tulyakov)是Snap Research创意视觉团队的首席研究科学家。他的工作重点是创造通过计算机视觉和机器学习来操纵世界的方法。这包括对人和对象的理解、照片级真实感操作和动画、视频合成、预测和重定目标。他凭借MonkeyNet和一阶运动模型(First Order Motion Model)开创了无人监督的图像动画领域，引发了该领域的许多初创公司。他在互动视频风格化方面的工作获得了SIGGRAPH Real-Time Live！2020最佳表演奖。他发表了30多篇顶级会议论文、期刊和专利，产生了多个创新产品，包括Snapchat宠物跟踪、OurBaby Snapable、实时神经镜头(性别交换、娃娃脸、老化镜头、面部动画)和许多其他产品。在加入Snap Inc.之前，Sergey在微软的卡内基梅隆大学NVIDIA工作。他拥有意大利特伦托大学的博士学位。

标题：破解开放AI for Insight and CreativityAbstract。当我们把一个模型看作一个黑匣子时，我们可以忽略该模型包含的许多知识。例如，当使用输入或输出来了解神经网络如何响应一个人的头发时，我们可以检查头发的颜色或长度，因为这是我们可以很容易地从外部计算出来的。但是，我们过于简单化的外部观点可能会错过模特对更广泛、更微妙的发型进行推理的内在能力。在本次演讲中，我将讨论破解深度网络以从内部了解它们的好处。通过从最先进的生成式模型中提取示例，我将讨论直接查看模型内部结构如何帮助我们理解模型分解问题的方式、模型对什么视而不见，以及如何在不经过培训的情况下修改模型的规则。我们将解剖和操纵场景、动物和人物的模型，我们将看到开放的模型如何使新的见解、新的应用和新的研究问题成为可能。

传记。David Bau在哈佛大学获得数学学士学位，在康奈尔大学获得计算机科学硕士学位，目前正在麻省理工学院完成EECS博士学位。David开创了计算机视觉中深度网络的解剖、可视化和交互操作的方法，他是网络解剖和GAN绘画的创始人，这使人们能够直接编辑最先进的神经网络的内部结构。大卫是一本广泛使用的研究生教科书“数值线性代数”的合著者。在麻省理工学院研究之前，他是谷歌的一名工程师，在那里他构建了图像搜索排名算法、Hangout实时通信和铅笔代码教育编程系统。大卫计划明年开始担任东北库里计算机科学学院的助理教授。

标题：face-vid2vid和GANCraftAbstract。在这次演讲中，我将介绍我们的Face-vid2vid和GAN工艺作品。Face-vid2vid是我们为视频会议应用程序开发的神经对话头部渲染引擎。它以无人监督的方式学习关键点表示和分解。表示和分解允许我们从发送方的视频帧中提取紧凑的表示，并在接收方忠实地重建它。实验表明，与H.264相比，该算法节省了10倍的带宽。我们还发现它还支持其他应用程序，如角色动画和脸部重定向。GANcraft是一个用于“我的世界”的神经渲染引擎。它学会了将块状的“我的世界”映射到真实的照片世界。关键的创新是将甘斯和内尔夫结合起来的一种方式。通过伪图像监督，我们克服了“我的世界”世界没有对应的真实世界图像的挑战。

传记。我是一名杰出的研究科学家，也是NVIDIA研究公司的经理。我的研究小组专注于深度生成模型及其应用。我们已经创作了几部高影响力的研究作品。他们中的几个已经推出了令人兴奋的新产品，包括NVIDIA GauGan和NVIDIA Maxine。我正在寻找人才加入我的团队。如果您也对可生成模型及其应用充满热情，请访问我的NVIDIA电子邮件。

在加入Nivida之前，我是三菱电气研究实验室(MERL)的首席研究科学家。2012年，我在Rama Chellappa教授的指导下获得了美国马里兰州马里兰大学学院公园分校的博士学位。

研讨会组织者

名誉座椅

普通座椅

车间椅

计划委员会

• 赵汉东，Adobe Research，美国
• 钟比能，华侨大学
• 美国华为的贾成城
• 严俊驰，上海交通大学
• 李军，南京理工大学
• 洪攀(音译)，东南大学，中国
• 王淑阳，资生堂美洲
• 萨姆森·蒂莫纳，ISM Connect
• 阿尼鲁德·通加(Anirudh Tunga)，普渡大学
• 胡安·瓦克斯，普渡大学
• Ankith Jain Rakesh Kumar，加州大学河滨分校
• 孙斌，东北大学
• Marah Halawa，柏林理工大学
• 勒内·哈斯，哥本哈根IT大学
• 朱荣航，佐治亚大学
• 王淑阳，资生堂美洲
• 周忠良，佐治亚大学
• 亚历克斯·马丁内斯，俄亥俄州立大学
• 刘成军，新泽西理工学院
• 梁政，澳大利亚国立大学
• 托马斯·莫斯伦德(Thomas Moeslund)，奥尔堡大学，丹麦
• 秦凯(音译)，斯温本理工大学
• Binod Bhattarai，伦敦帝国理工学院
• 中山大学曹沟教授
• 迪米特里奥斯·马利斯(Dimitrios Mallis)，诺丁汉大学
• 李浩翔，Wormpex人工智能研究
• 李智贤，KAIST
• 库沙维尔·辛格(Kushajveer Singh)，格鲁吉亚大学
• 荆涛涛，杜兰大学
• 谭伟军，LinkSprite Technologies
• 扎伊德·汗，东北大学
• 郑章，哈尔滨工业大学，深圳

索要文件的号召

我们经历了人脸、手势和跨模态(例如，语音和人脸)技术的快速发展。这要归功于深度学习(即，可以追溯到2012年的AlexNet)和大规模的、有标签的数据集。深度学习的进展继续推动著名的公共数据库接近饱和，因此，需要将更具挑战性的图像集合汇编为数据库。在实践中，甚至在应用研究中，使用现成的深度学习模型已经成为常态，因为有许多预先训练的网络可供下载，并且容易地部署到新的、看不见的数据(例如，VGG-Face、ResNet等类型)。我们几乎从这种奢侈中变得“娇生惯养”，事实上，这种奢侈使我们能够对许多真相视而不见。从理论上讲，神经网络比以往任何时候都更具鉴别力的背后的真相，公平地说，仍然是不清楚的-相反，它们对大多数从业者，甚至对研究人员来说，都是一种黑匣子。更麻烦的是，缺乏工具来定量和定性地描述现有的深层模型，这本身就可以对这些如此熟悉的黑匣子产生更大的洞察力。随着前沿以前所未有的速度向前推进，我们现在面临着诸如照明、姿势、年龄等方面的高度变化等挑战。然而，由于结构化数据和视觉动力学建模的困难，最新的深度学习模型在面临这样的挑战时往往会失败。

除了花在传统人脸识别上的努力外，这项研究还跨模态学习进行，如面部和语音、图像中的手势和视频中的运动，以及其他几项任务。这项工作吸引了来自各个领域的产业界和学术界研究人员的关注。此外，在某些情况下，还推动将这些技术用于基于社交媒体的应用程序。无论确切的领域和目的如何，都必须满足以下能力：面部和身体跟踪(例如，面部表情分析、面部检测、手势识别)、唇读和语音理解、面部和身体表征(例如，行为理解、情感识别)、面部、身体和手势特征分析(例如，步态、年龄、性别、种族识别)、通过社会线索的群体理解(例如，亲属关系、非血缘关系、个性)以及视觉情感分析(例如，气质、安排)。因此，需要能够创建有效的视觉确定性模型在科学界和商业市场都具有重要价值，其应用涵盖人机交互、社交媒体分析、视频索引、视觉监控和互联网视觉等主题。目前，研究人员已经在解决其中许多问题上取得了重大进展，特别是在考虑目前可用的现成且经济高效的Vision HW产品时，例如Intel RealSense、Magic Leap、Share和Affdex。尽管如此，严峻的挑战仍然存在，当考虑到不同来源捕捉到的不受限制的成像条件集中在不合作的对象上时，这只会放大。正是这些后一种挑战特别吸引了我们的兴趣，因为我们试图将尖端技术和深度学习的最新进展结合起来，以解决野外的挑战。

这个为期一天的系列研讨会(AMFG2021)为研究人员提供了一个论坛，让他们回顾面部、身体和手势的识别、分析和建模的最新进展，同时拥抱可用于面部和手势分析的最先进的深度学习系统，特别是在不受限制的环境(如社交媒体)和跨模式(如面对面语音)下。研讨会包括多达3个主题演讲和同行评议论文(口头和海报)。以下主题征集原创优质投稿：

• 用于人脸/手势识别的新颖深度模型、深度学习调查或比较研究；
• 应用于社交媒体分析的深度学习方法、理论；
• 脸部、姿势和手势的数据驱动或基于物理的生成模型；
• 深入学习互联网规模的软生物识别和侧写：年龄、性别、种族、个性、亲属关系、职业、美貌排名，以及通过面部或身体描述符进行时尚分类；
• 深度学习，用于检测和识别具有大3D旋转、光照变化、部分遮挡、未知/变化背景和老化(即，在野外)的人脸和身体；特别是大3D旋转稳健的人脸和手势识别；
• 从几个非重叠视图捕获的面部和身体模型的运动分析、跟踪和提取；
• 来自固定或移动设备摄像机的低质量(例如，模糊)或低分辨率视频中的人脸、步态和动作识别；
• AutoML用于人脸和手势分析；
• 用于跨域社交媒体的面部和身体姿势和动作表示、分析和识别的数学模型和算法、传感器和模态；
• 基于社会/心理学的研究，帮助理解计算建模和建立具有交互特征的更好自动化的脸部和手势系统；
• 涉及脸部和手势(例如，语音、可穿戴IMU和脸部)的多媒体学习模型；
• 涉及人脸、身体和动作的检测、跟踪和识别的社交应用；
• 用于社会背景下情感分析的脸部和手势分析；
• 其他涉及社交媒体内容中的面部和手势分析的应用程序。

之前的AMFG研讨会

与ICCV2003一起于2003年在法国尼斯举办了第一次以这个名字命名的讲习班。到目前为止，已经成功举办了九届。前五届基金管理小组的网页如下：

AMFG2013：http://www.northeastern.edu/smilelab/AMFG2013/home.htmlAMFG2015：http://www.northeastern.edu/smilelab/AMFG2015/home.htmlAMFG2017：https://web.northeastern.edu/smilelab/AMFG2017/index.htmlAMFG2018：https://web.northeastern.edu/smilelab/AMFG2018/index.htmlAMFG2019：https://web.northeastern.edu/smilelab/amfg2019/http://www.northeastern.edu/smilelab/AMFG2013/home.html http://www.northeastern.edu/smilelab/AMFG2015/home.html https://web.northeastern.edu/smilelab/AMFG2017/index.html https://web.northeastern.edu/smilelab/AMFG2018/index.html https://web.northeastern.edu/smilelab/amfg2019/

摘要

对于第10版的AMFG，我们有几篇很棒的论文，一流的主题演讲，还有一个好胜，但也是一流的颁奖典礼。在看到如此高的投票率之后，我们又一次打算在明年推出第11版。因此，请继续关注；)