近年来，随着智能化技术的飞速发展及其在军事领域的深度应用，人们对智能武器的担忧与日俱增：智能武器发展到一定程度，会不会调转枪头指向人类？特别是在去年年底，网络上的一段假想机器杀人蜂疯狂屠杀人类的视频，更引发了各国民众的普遍担忧。包括霍金、马斯克在内的知名科学家和企业家纷纷警告，人工智能的破坏力远大于核武器，甚至可能导致人类灭亡。

不过，从智能化技术的发展现状及趋势看，这种忧虑在当下无异于担心“火星上的人口过多”。真正值得人类警惕的，是让智能武器在战场上拥有开火自主权带来的一系列风险。那么，自主杀人武器究竟会带来什么风险？

首先是系统失灵导致误伤。自主杀人武器被赋予了高度的人工智能，人工智能在本质上是由具有思维能力的计算机软件实现，而只要是软件，就一定会出错。美军在这方面有真实案例。2007年10月，美军第3机步师下属部队携带3台“利剑”机器人进攻一个反美武装据点。由于没有及时更新软件，其中1台“利剑”竟把枪口对准美军操作人员，即便在操作人员发出“行动取消”的指令后，失控的“利剑”依然不听指挥，直到另一名美军上尉用火箭筒把它炸翻才化险为夷。

美国《国家利益》杂志网站2016年11月4日刊发文章指出：“无论计算处理技术取得多大进步，如果没有人类监督和控制，完全自主化的武器系统必将犯错。”一旦系统出错，可能丧失辨别敌友与平民的能力，导致暴行发生。而基于智能软件的自主杀人机器可能在同一时间内集体出错，造成的破坏更大。

其次是认知偏见导致武力滥用。支持发展智能武器的人们认为，人工智能作为一种工具，不受情感、态度等主观因素的影响，具有客观公正的优势。但实际上，人工智能建立在算法和大数据的基础上，而算法难免会反映出设计者本身的喜好，“脏数据”则会导致人工智能产生偏见。

哈佛大学教授斯维妮曾做过一项研究，她在谷歌上分别搜索了白人儿童和黑人儿童的常用名字，结果显示，80%的黑人姓名旁边推送的广告出现了“逮捕”字样，而白人姓名出现“逮捕”字样的比例少了30%。另一个典型事例是，研究人员使用基于计算机视觉技术的智能软件识别人脸，结果该软件将黑色皮肤人脸标识为“大猩猩”。不难想象，一旦将存在认知偏见的智能化武器投入未来战场，很可能会对某一类人群滥用武力。

最后，落入坏人之手用于达成邪恶目的。与核武器不同，自主杀人武器不需要昂贵的稀缺材料，其核心能力来自智能软件，因此比较容易获得，因此随着人工智能技术日益平民化，犯罪分子、恐怖分子、叛乱分子等邪恶势力在黑市上获得自主杀人武器只是时间问题。一旦自主杀人武器落入坏人之手，将成为实施杀戮、制造动荡的工具，后果不堪设想。另外，自主杀人武器的使用，大大降低了发动战争的成本，从而导致冲突与战争更加频繁。

人类战争史表明，一旦某种武器能够带来非对称性优势，必将由于国家、部族或群体之间的猜疑、野心和安全感缺失而逐渐扩散，自主杀人武器也不例外。为此，当前最紧迫的工作是世界主要国家通过联合国这一平台加强沟通，增加互信，尽快出台法规约束和政策指导，同时在道德、伦理方面加强研究，尽可能做到防患于未然。