以前我们讲到「杀手机器人」，
很容易想到科幻电影。
一台机器自己看见人。
自己判断谁是敌人。
然后自己决定开火。
但现在真正让联合国和红十字国际委员会紧张的，
已经不是：
「这种东西有一天会不会出现？」
而是：
「我们是不是应该趁现在还来得及，先决定哪条线不能跨？」
8 月 25 日，
联合国秘书长 António Guterres 与红十字国际委员会主席 Mirjana Spoljaric 再次共同呼吁各国，
开始谈具有法律约束力的自主武器规则。
他们用了非常重的一句话：
世界正危险地接近一条道德红线。
也就是：
让机器自主把人类当成攻击目标。
什么叫「自主武器」？
先把最容易混淆的地方讲清楚。
自主武器不是：
有人坐在远方操作一台无人机，
看到目标，
然后由人按下攻击按钮。
这仍然是人类选择特定目标。
红十字国际委员会对自主武器的理解是：
系统被人启动之后，
可以根据：
传感器、
软件、
环境信号，
自己比对某种「目标特征」，
然后选择并对目标使用武力。
换成最白话的说法：
人决定让这套武器开始工作，但最后到底打到哪一个特定目标，不一定是那个人当下亲自选的。
而且自主武器不等于 AI
这一点很重要。
我们现在很容易看到「自主武器」，
就直接把它叫成 AI 武器。
其实不完全正确。
有些自主武器可以只是：
传感器＋固定规则＋软件。
不一定使用我们现在熟悉的机器学习或生成式 AI。
例如一些防空系统，
可以自动侦测高速飞来的飞弹或火箭，
判断它是否符合某些条件，
再自动拦截。
这种系统可能主要靠固定规则，
不一定需要一个会「思考」的 AI。
真正让问题变得更复杂的是：
愈来愈强的 AI，正在被加入愈来愈多军事传感、辨识、决策支持与自主系统。
所以问题不只是：
武器会不会自己动。
而是：
它未来能不能自己理解更复杂的环境，
甚至自行判断谁可能是目标。
其实会「自己打」的武器早就存在
这不是完全新的技术。
例如一些军舰的防御系统，
本来就必须在极短时间内：
发现飞弹、
判断威胁、
追踪，
然后拦截。
如果等一个人慢慢确认每一个步骤，
飞弹可能已经撞上军舰了。
因此，
部分防空、反飞弹或车辆主动防御系统，
已经具有某种程度的自主选择与攻击能力。
但这些系统通常有一个很重要的限制。
它们主要是在：
有限区域、
有限时间、
明确条件下，
对付非常特定的东西。
例如：
来袭飞弹。
火箭。
砲弹。
军事车辆。
这和让一套系统走进城市，
自行判断：
「这个人是不是敌人？」
完全不是同一个难度。
真正的红线，是目标从「东西」变成「人」
想像一套防御系统看到：
一颗高速朝军舰飞来的飞弹。
它需要辨认的是：
速度。
方向。
雷达特征。
飞行轨迹。
这些信号相对明确。
可是如果它看到的是一个人呢？
情况就完全不同。
这个人可能：
拿着武器。
也可能只是拿着一个很像武器的东西。
他可能是战斗人员。
也可能是平民。
他可能刚才还在战斗。
但现在已经投降。
他可能受伤，
已经不能继续战斗。
他可能站在其他平民旁边。
这时候，
真正需要的已经不只是：
「辨识准不准？」
而是：
「现在依法、依当下情况，究竟能不能对这个人使用武力？」
这里需要的，
不是只有图像分类。
还有：
情境、
比例原则、
区分原则、
军事必要性，
以及人的判断。
AI 99% 准，也不代表最后那一步可以直接交出去
假设有一套 AI，
辨认战斗人员的正确率非常高。
问题还是没有结束。
因为：
辨认一个人是谁，和决定现在可不可以杀他，是两个不同问题。
这就像医疗 AI。
AI 可以很准地指出：
这张图像很可能有肿瘤。
但这不等于：
它应该自己决定病人下一步接受哪一种高风险治疗。
又像司法系统。
AI 可以整理：
案件、
前例、
风险数据。
但「一个人应该失去多少自由」，
是另一层权力。
武器更极端。
因为最后那个错误，
可能完全没有第二次修改的机会。
人类只是在旁边看，也不一定叫「人类控制」
这里还有另一个陷阱。
我们很容易说：
「没关系，最后有人看着就好。」
但如果一套系统：
一秒钟产生 20 个目标，
每一个旁边都有一个绿色框，
再给操作员两秒钟按：
「批准。」
那个人真的重新判断了吗？
还是只是：
替机器的答案盖章？
真正有意义的人类控制，
不能只是画面上还留着一个「确认」按钮。
人必须有：
足够信息、
足够时间、
实际理解能力，
以及真正可以：
停止、
修改、
取消攻击的权力。
如果人根本来不及思考，
那个「人在回路中」，
可能只剩形式。
如果机器杀错人，到底谁负责？
这也是自主武器最难的一题。
假设一套系统误判。
最后造成不应该发生的攻击。
我们第一个问题一定是：
谁负责？
是：
写算法的人？
制造传感器的人？
武器公司？
下令部署的指挥官？
启动系统的操作员？
还是批准采购这套系统的国家？
你不可能把一台机器带上军事法庭，
然后问：
「你当时为什么做这个决定？」
机器没有法律责任。
最后责任仍然必须回到人。
但系统愈复杂，
人类愈不知道一个特定结果到底怎么出现，
责任链就可能愈难厘清。
这也是联合国与红十字国际委员会现在想在技术大规模扩散之前，
先把规则谈清楚的原因之一。
那现在国际法完全没有规则吗？
也不是。
战争并不是没有法律。
现有国际人道法仍然适用于新的武器。
军队仍然必须遵守：
区分军事目标和平民、
比例原则、
攻击中的预防措施，
以及其他战争规则。
问题在于：
目前没有一套专门针对自主武器的全球法律协议，
清楚写下：
哪些类型必须禁止。
哪些可以使用。
哪些一定要保留什么程度的人类控制。
红十字国际委员会主张，
至少两类应该被禁止：
效果无法充分理解、预测与解释的自主武器。
以及：
设计或使用来自主攻击人的自主武器。
其他没有禁止的自主系统，
也应该限制：
可以攻击什么、
可以在哪里使用、
可以运作多久，
以及人类如何监督和及时停止。
为什么现在突然这么急？
因为技术进步速度，
正在跑得比国际谈判快。
各国从 2014 年左右就已经开始正式讨论自主武器。
十多年后，
技术能力已经完全不同。
传感器更好。
芯片更快。
无人机更便宜。
AI 图像辨识更强。
军事系统可以同时处理更多数据。
所以以前还可以说：
「先讨论看看。」
现在的问题是：
等到大量部署之后，
再想创建共同规则，
可能就困难得多。
8 月 25 日这次联合声明，
真正传达的也是这件事：
先决定界线，再让技术往前跑。
而不是先让技术跑到最远，
出事之后再问：
「我们是不是应该留一个煞车？」
这件事其实不只是在讲武器
自主武器只是把 AI 时代的一个问题，
推到最极端。
AI 愈强，
我们每天都会遇到同一题：
哪些事情可以交给 AI 自动做？
哪些可以让 AI 建议？
哪些一定要由人最后决定？
例如：
AI 可以帮医生找病灶。
但能不能自己决定高风险治疗？
AI 可以分析履历。
但能不能完全不让人知道，
就决定谁永远进不了面试？
AI 可以分析嫌疑人图像。
但能不能直接决定谁应该被执法？
AI 可以预测金融风险。
但能不能不经确认，
就替一个人切断重要金融服务？
技术真正成熟之后，
最难的问题往往不再是：
「AI 能不能做？」
而是：
「即使它能做，我们愿不愿意把这个权力一起交出去？」
最后一个按钮为什么那么重要？
因为有些决定，
不是单纯比较谁算得比较快。
它包含：
责任。
价值判断。
法律。
情境。
以及：
人愿不愿意为这个结果负责。
所以自主武器真正值得我们记住的，
不是「AI 有一天会不会变成杀手机器人」。
而是：
当机器能力强到可以自己完成更多步骤时，
人类还愿不愿意清楚规定：做到哪里，它一定要停。
如果连生死决定都只剩一个算法结果，
真正消失的就不只是人工操作。
而是：
最后究竟由谁对一个人的生命负责。
今天，和 AI 一起进步一点。
每天学会一个 AI 技巧。
每天节省一点时间。
每天提升一点能力。
SasaDaily，陪你一起成长。
推荐阅读
AI 晚报｜2026/07/31：中国军事研究使用美国 AI 训练本土系统，模型蒸馏成为美中科技竞争新战场
