以前我們講到「殺手機器人」,
很容易想到科幻電影。
一台機器自己看見人。
自己判斷誰是敵人。
然後自己決定開火。
但現在真正讓聯合國和紅十字國際委員會緊張的,
已經不是:
「這種東西有一天會不會出現?」
而是:
「我們是不是應該趁現在還來得及,先決定哪條線不能跨?」
8 月 25 日,
聯合國秘書長 António Guterres 與紅十字國際委員會主席 Mirjana Spoljaric 再次共同呼籲各國,
開始談具有法律約束力的自主武器規則。
他們用了非常重的一句話:
世界正危險地接近一條道德紅線。
也就是:
讓機器自主把人類當成攻擊目標。
什麼叫「自主武器」?
先把最容易混淆的地方講清楚。
自主武器不是:
有人坐在遠方操作一台無人機,
看到目標,
然後由人按下攻擊按鈕。
這仍然是人類選擇特定目標。
紅十字國際委員會對自主武器的理解是:
系統被人啟動之後,
可以根據:
感測器、
軟體、
環境訊號,
自己比對某種「目標特徵」,
然後選擇並對目標使用武力。
換成最白話的說法:
人決定讓這套武器開始工作,但最後到底打到哪一個特定目標,不一定是那個人當下親自選的。
而且自主武器不等於 AI
這一點很重要。
我們現在很容易看到「自主武器」,
就直接把它叫成 AI 武器。
其實不完全正確。
有些自主武器可以只是:
感測器+固定規則+軟體。
不一定使用我們現在熟悉的機器學習或生成式 AI。
例如一些防空系統,
可以自動偵測高速飛來的飛彈或火箭,
判斷它是否符合某些條件,
再自動攔截。
這種系統可能主要靠固定規則,
不一定需要一個會「思考」的 AI。
真正讓問題變得更複雜的是:
愈來愈強的 AI,正在被加入愈來愈多軍事感測、辨識、決策支援與自主系統。
所以問題不只是:
武器會不會自己動。
而是:
它未來能不能自己理解更複雜的環境,
甚至自行判斷誰可能是目標。
其實會「自己打」的武器早就存在
這不是完全新的技術。
例如一些軍艦的防禦系統,
本來就必須在極短時間內:
發現飛彈、
判斷威脅、
追蹤,
然後攔截。
如果等一個人慢慢確認每一個步驟,
飛彈可能已經撞上軍艦了。
因此,
部分防空、反飛彈或車輛主動防禦系統,
已經具有某種程度的自主選擇與攻擊能力。
但這些系統通常有一個很重要的限制。
它們主要是在:
有限區域、
有限時間、
明確條件下,
對付非常特定的東西。
例如:
來襲飛彈。
火箭。
砲彈。
軍事車輛。
這和讓一套系統走進城市,
自行判斷:
「這個人是不是敵人?」
完全不是同一個難度。
真正的紅線,是目標從「東西」變成「人」
想像一套防禦系統看到:
一顆高速朝軍艦飛來的飛彈。
它需要辨認的是:
速度。
方向。
雷達特徵。
飛行軌跡。
這些訊號相對明確。
可是如果它看到的是一個人呢?
情況就完全不同。
這個人可能:
拿著武器。
也可能只是拿著一個很像武器的東西。
他可能是戰鬥人員。
也可能是平民。
他可能剛才還在戰鬥。
但現在已經投降。
他可能受傷,
已經不能繼續戰鬥。
他可能站在其他平民旁邊。
這時候,
真正需要的已經不只是:
「辨識準不準?」
而是:
「現在依法、依當下情況,究竟能不能對這個人使用武力?」
這裡需要的,
不是只有影像分類。
還有:
情境、
比例原則、
區分原則、
軍事必要性,
以及人的判斷。
AI 99% 準,也不代表最後那一步可以直接交出去
假設有一套 AI,
辨認戰鬥人員的正確率非常高。
問題還是沒有結束。
因為:
辨認一個人是誰,和決定現在可不可以殺他,是兩個不同問題。
這就像醫療 AI。
AI 可以很準地指出:
這張影像很可能有腫瘤。
但這不等於:
它應該自己決定病人下一步接受哪一種高風險治療。
又像司法系統。
AI 可以整理:
案件、
前例、
風險資料。
但「一個人應該失去多少自由」,
是另一層權力。
武器更極端。
因為最後那個錯誤,
可能完全沒有第二次修改的機會。
人類只是在旁邊看,也不一定叫「人類控制」
這裡還有另一個陷阱。
我們很容易說:
「沒關係,最後有人看著就好。」
但如果一套系統:
一秒鐘產生 20 個目標,
每一個旁邊都有一個綠色框,
再給操作員兩秒鐘按:
「批准。」
那個人真的重新判斷了嗎?
還是只是:
替機器的答案蓋章?
真正有意義的人類控制,
不能只是畫面上還留著一個「確認」按鈕。
人必須有:
足夠資訊、
足夠時間、
實際理解能力,
以及真正可以:
停止、
修改、
取消攻擊的權力。
如果人根本來不及思考,
那個「人在迴路中」,
可能只剩形式。
如果機器殺錯人,到底誰負責?
這也是自主武器最難的一題。
假設一套系統誤判。
最後造成不應該發生的攻擊。
我們第一個問題一定是:
誰負責?
是:
寫演算法的人?
製造感測器的人?
武器公司?
下令部署的指揮官?
啟動系統的操作員?
還是批准採購這套系統的國家?
你不可能把一台機器帶上軍事法庭,
然後問:
「你當時為什麼做這個決定?」
機器沒有法律責任。
最後責任仍然必須回到人。
但系統愈複雜,
人類愈不知道一個特定結果到底怎麼出現,
責任鏈就可能愈難釐清。
這也是聯合國與紅十字國際委員會現在想在技術大規模擴散之前,
先把規則談清楚的原因之一。
那現在國際法完全沒有規則嗎?
也不是。
戰爭並不是沒有法律。
現有國際人道法仍然適用於新的武器。
軍隊仍然必須遵守:
區分軍事目標和平民、
比例原則、
攻擊中的預防措施,
以及其他戰爭規則。
問題在於:
目前沒有一套專門針對自主武器的全球法律協議,
清楚寫下:
哪些類型必須禁止。
哪些可以使用。
哪些一定要保留什麼程度的人類控制。
紅十字國際委員會主張,
至少兩類應該被禁止:
效果無法充分理解、預測與解釋的自主武器。
以及:
設計或使用來自主攻擊人的自主武器。
其他沒有禁止的自主系統,
也應該限制:
可以攻擊什麼、
可以在哪裡使用、
可以運作多久,
以及人類如何監督和及時停止。
為什麼現在突然這麼急?
因為技術進步速度,
正在跑得比國際談判快。
各國從 2014 年左右就已經開始正式討論自主武器。
十多年後,
技術能力已經完全不同。
感測器更好。
晶片更快。
無人機更便宜。
AI 影像辨識更強。
軍事系統可以同時處理更多資料。
所以以前還可以說:
「先討論看看。」
現在的問題是:
等到大量部署之後,
再想建立共同規則,
可能就困難得多。
8 月 25 日這次聯合聲明,
真正傳達的也是這件事:
先決定界線,再讓技術往前跑。
而不是先讓技術跑到最遠,
出事之後再問:
「我們是不是應該留一個煞車?」
這件事其實不只是在講武器
自主武器只是把 AI 時代的一個問題,
推到最極端。
AI 愈強,
我們每天都會遇到同一題:
哪些事情可以交給 AI 自動做?
哪些可以讓 AI 建議?
哪些一定要由人最後決定?
例如:
AI 可以幫醫生找病灶。
但能不能自己決定高風險治療?
AI 可以分析履歷。
但能不能完全不讓人知道,
就決定誰永遠進不了面試?
AI 可以分析嫌疑人影像。
但能不能直接決定誰應該被執法?
AI 可以預測金融風險。
但能不能不經確認,
就替一個人切斷重要金融服務?
技術真正成熟之後,
最難的問題往往不再是:
「AI 能不能做?」
而是:
「即使它能做,我們願不願意把這個權力一起交出去?」
最後一個按鈕為什麼那麼重要?
因為有些決定,
不是單純比較誰算得比較快。
它包含:
責任。
價值判斷。
法律。
情境。
以及:
人願不願意為這個結果負責。
所以自主武器真正值得我們記住的,
不是「AI 有一天會不會變成殺手機器人」。
而是:
當機器能力強到可以自己完成更多步驟時,
人類還願不願意清楚規定:做到哪裡,它一定要停。
如果連生死決定都只剩一個演算法結果,
真正消失的就不只是人工操作。
而是:
最後究竟由誰對一個人的生命負責。
今天,和 AI 一起進步一點。
每天學會一個 AI 技巧。
每天節省一點時間。
每天提升一點能力。
SasaDaily,陪你一起成長。
推薦閱讀
AI 晚報|2026/07/31:中國軍事研究使用美國 AI 訓練本土系統,模型蒸餾成為美中科技競爭新戰場