“围剿”杀人机器人，周志华、Hinton等57位学界大牛出手了

作者 | 费棋

来源| AI科技大本营

一群类似杀人蜂的小型无人机冲入课堂，以人脸识别技术瞬间定位所有学生，将他们全部杀死。

这是去年 11 月伯克利大学教授 Stuart Russell 在联合国特定常规武器公约会议上放出的一段虚拟视频。尽管这段视频和其中的杀人机器人并不真实，但其中的科技目前已经存在。试想如果这种技术落入到恐怖分子手里，后果将难以设想。

机器人的发展如果趋向恶的一面，那就像是潘多拉魔盒，异常凶险。

近日，超过 50 位人工智能领域的专家联名抵制韩国科学技术高级研究院 KAIST 开发“杀人机器人”。这是继去年 8 月，业界的 116 位机器人和 AI 公司创始人和首席执行官们公开敦促联合国采取行动，阻止“机器人杀手”出现的后继浪潮。

他们的诉求一致，就是为了防止 AI 可能引发枪弹和核武器发明之后在战争领域的第三次革命，以及避免各国加速开发自动化武器进行军备竞赛。可以说，这是学界和业界对杀人机器人的联合“围剿”。

▌杀人机器人项目

很多与政府国防相关的 AI 技术应用，都会触动业内从业者敏感的神经。

3 月，Google 利用 AI 技术帮助美国国防部分析其无人机拍摄的视频片段，就遭到了近期 3000名员工联名反对，这些人认为 AI 技术已经被用成了不正当杀人利器。

人工智能在世界各地的军队中的使用引发了人们的担忧，并对这种武器的准确性以及区分朋友和敌人的能力提出了质疑。

KAIST 与国防公司韩华系统（Hanwha Systems）在自主武器上的合作也是如此，虽然目前的消息还未得知它们具体的一些项目细则，但如果你了解韩华系统的一些基本情况，也就会明白这次合作的个中利害。

作为韩国最大的武器制造商之一，韩华系统制造的集束弹药（cluster munitions）在国际条约下已被禁止在 120 个国家使用；而且韩国与美国、俄罗斯和中国一样，都不是该公约的签署国。十年前，挪威的未来基金将韩华列入了道德黑名单中。

其次，韩国科学技术院相当于韩国的麻省理工学院，综合它们在各自领域强大的影响力和技术实力，两者结合很难不引起人们的警惕。

2 月 20 日，KAIST 开放了国防和人工智能联合研究中心，校长 Sung-Chul Shin 当时表示“将为发展国防技术奠定坚实的基础”。

根据该中心此前发布在学校网站上的公告，他们将专注于研究“基于 AI 的指挥决策系统，基于 AI 的智能飞机训练系统，基于 AI 智能目标跟踪和识别技术，以及为大规模水下无人交通工具结合导航算法”。根据这些内容，足以判断出这些项目与国防结合的野心。不过，可能是因为遭受了近期的舆论风波，相关公告已从学校网站撤下。

听到抵制的消息后，Sung-Chul Shin 发表声明称，他感到很难过，认为 KAIST 重视人权和道德标准，没有任何意愿参与开发致命的自主武器系统和杀人机器人。“我再次重申，KAIST 不会进行任何与人类发展相左的研究活动，包括无意义的由人类控制的自动化武器。”

即便如此，制造类似的军用的“战斗机器人”在韩国已不是首次了。一家名为 Dodaam Systems 的公司就生产了一种完全自主静止炮塔，能够探测 3 公里外的目标。客户包括阿拉伯联合酋长国和卡塔尔，并且已经在朝鲜高度军事化的边界上进行了测试。

其公司高管在 2015 年告诉 BBC ，他们拥有“自我强制限制”能力，机器是需要人类传达攻击指令。另外，英国 BAE 系统公司制造的塔拉尼斯军用无人机也可以在技术上完全自主运行。

“发展自动化武器会使朝鲜半岛的安全局势恶化，而不是更好。”新南威尔士大学的教授 Toby Walsh 表示， “无论武器是在什么地方制造，他们最终肯定会在朝鲜出现，并会用它来对付韩国。”

▌“愚蠢的 AI”

Toby Walsh 正是此次呼吁抵制韩国杀人机器人的组织者。

在《卫报》发出报道一天之后，今天他就署名发表了一篇名为《现在从杀人机器人手中拯救世界还不算太晚》的文章。

他称自己所说的杀人机器人不是电影《终结者2：审判日》中的 T101 型机器人。“与之相比，我最担心的是愚蠢的 AI。”

他认为不受人类控制，自动化武器将成为大规模杀伤性武器。但我们现在还来得及阻止战争领域的第三次革命发生。“如何做到这一点并不涉及时间旅行，或者任何火箭科学。我要说的是，用人类发明的机器去决定人类的生死这在道德上是不可接受的。”

现在，我们在阿富汗或伊拉克的天空之上看到的无人机，还只是半自动化武器，但从技术上来说，用计算机取代操作的士兵现在可以轻而易举做到。到那时，当有人遭受自动化武器的攻击时，我们甚至很难找出幕后真凶，这会让作恶者更加猖狂。

完全自动化无人机技术几乎与自动驾驶汽车使用的是相同技术。比如识别、追踪和避开行人的算法可以很容易地变为识别、跟踪和定位战斗人员的算法。

那么如何防止这个世界在未来充满杀人机器人？

Walsh 认为，与核武器不同，自动化武器将变得廉价并且是一种非常有效的武器，这听起来似乎将难以禁止。但有一个很好的历史先例表明禁止是可行的。

他以化学武器为例，虽然它也像自动化武器一样便宜，背后使用的技术广泛存在，不可能完全禁止。但现在我们也并没有禁止化学，而禁止的是化学武器，因为使用这些武器的人在道德上会被人类所唾弃，而这也是我们能够防止未来会充满杀人机器人的原因。

▌抵制声潮

抵制杀人机器人的声潮在扩大。

目前，已经有 20 多个国家开始要求全面禁止制造杀人机器人。而那些参与抵制的 50 多位顶尖 AI 学者也表示，他们不会参与此类项目的研究，不会与来自 KAIST 的访问者进行合作。

KAIST 校长的迅速回应也表明这些学者的抵制是有效的，人类对自动化武器也是可控的。Walsh 觉得这些小的行动最终可能会实现彻底禁止制造自动化武器。

值得一提的是，参与抵制的除了有 Yoshua Bengio、Geoffrey Hinton 这些 AI 领域的知名学者之外，南京大学人工智能学院院长周志华教授也位列其中。

（参与抵制的部分学者名单）

尽管周志华教授此前并未发表与此相关的看法，但他曾在一篇《关于强人工智能》的文章中指出，现在绝大多数 AI 研究者都认为强人工智能不能做、不该做，即便强人工智能是可能的，也不应该去研究它。这在一定程度上也能说明他对这种杀人机器人的态度。

人们对人工智能的这种警惕感并不是近期才出现的，早在 2015 年 1 月，Stuart Russell 教授就发出了一封警告 AI 研究的公开信，响应者上千人，其中包括哲学家，来自 Google、Facebook 和微软的 AI 研究者，特斯拉 CEO 马斯克，以及已然逝去的物理学家霍金。

此次抵制事件，也像是在下周即将在日内瓦召开的联合国会议上对“杀手机器人”议题讨论的一次铺垫。这或许标志着，科学界将对 AI 武器进行更强有力的控制。

自动化杀人武器的潘多拉魔盒一旦打开，很难关闭。人类需要尽快行动。

参考链接：

https://www.theguardian.com/technology/2018/apr/05/killer-robots-south-korea-university-boycott-artifical-intelligence-hanwha

https://www.theguardian.com/commentisfree/2018/apr/06/its-not-too-late-to-save-the-world-from-killer-robots

转载声明：本文转载自「AI科技大本营」，搜索「rgznai100」即可关注。

☟☟☟点击 | 阅读原文 | 查看更多精彩内容