你推著購物車走進超市。
挑好東西，
刷會員卡，
準備結帳。
結果兩名主管突然走過來，
告訴你：
不能服務你。
你和先前某件事情有關，
請你離開。
問題是，
你根本不知道他們在說什麼。
這不是電影。
最近，46 歲的 Matt Arnold 就在倫敦 East Dulwich 一間 Sainsbury’s 遇到這種事。
他當時正在替附近一場喜劇活動購買用品，已經開始掃描商品與 Nectar 會員卡，卻被兩名主管攔下，告訴他因為先前的事件不能繼續購物，接著要求他離開。Sainsbury’s 隔天向他道歉，並暫停這間分店使用 Facewatch 臉部辨識系統進行調查與額外員工訓練。
乍看之下，
這似乎又是一個：
「AI 認錯人。」
的故事。
但真正值得注意的地方，
恰好不是這麼簡單。
先把最重要的事說清楚：兩家公司都說 AI 沒有認錯他
Sainsbury’s 與 Facewatch 對這次事件的公開說法都是：
Facewatch 發出的警報本身是正確的。
錯誤發生在警報送到店內以後，
店員在現場找錯了人。
Sainsbury’s 更表示，
Facewatch 系統宣稱準確率達 99.98%，
而且每一個警報都必須由受過訓練的員工再次檢查，才能採取行動。
這套設計不是事故發生後才突然提出。
Sainsbury’s 今年 1 月公開介紹 Facewatch 時，就明確表示：
每一個警報都會由受過訓練的員工檢查後，才進一步處理。
換句話說，
理論上的流程應該是：
AI 發現可能的人。
↓
人類確認是不是同一個人。
↓
確認證據與情況。
↓
最後才決定要不要採取行動。
聽起來很安全。
問題卻正好出在：
中間那個「人類確認」。
大家都說 Human-in-the-Loop，但「有人」不等於真的有判斷
AI 安全裡常出現一個詞：
Human-in-the-Loop。
白話就是：
AI 不自己做最後決定，
中間保留一個真人。
例如：
AI 發現可能的詐騙交易，
銀行員確認。
AI 在 X 光片看到異常，
醫師確認。
AI 認為履歷可能符合職缺，
招募人員確認。
AI 偵測到可能是曾經被禁止進店的人，
店員確認。
這個概念本身沒有問題。
真正的問題是：
那個真人到底在做什麼？
如果 AI 跳出一個警報，
真人只看一眼，
心裡已經先認定：
「機器都抓到了，應該就是他。」
那接下來看監視器、找人、詢問，
都有可能變成是在替原本的答案找證據。
形式上有人。
實際上，
人只是把 AI 的結果執行出去。
最簡單的比喻：醫生真的有看 X 光嗎？
假設一家醫院使用 AI 協助看片。
AI 跳出：
「疑似肺炎。」
接下來有兩種醫生。
第一種醫生重新看 X 光，
再看病人的症狀、病史、血液數據，
最後說：
「AI 提醒得有道理，但證據還不夠。」
或者：
「確認，就是肺炎。」
這才是真正的人類確認。
另一種醫生看到：
「AI：疑似肺炎。」
下一秒就在病歷裡打：
「肺炎。」
雖然最後按下確認的是醫生，
但真正做決定的是誰？
表面上是人。
實際上可能還是機器。
這就是 Human-in-the-Loop 最容易出現的假象：
不是流程裡出現一個真人，就代表真人真的重新判斷過。
Sainsbury’s 這次甚至更複雜
按照 Sainsbury’s 與 Facewatch 的說法，
系統這次並沒有把 Matt Arnold 和資料庫裡的人錯誤配對。
Facewatch 表示，
它向店家送出的是正確警報。
真正出錯的是：
警報進入店內後，員工把它套到了錯的人身上。
這個差別非常重要。
因為它告訴我們：
AI 系統可能完全按照設計工作，
最後仍然可以傷害一個無辜的人。
錯誤不一定發生在：
模型。
也可能發生在：
螢幕怎麼顯示，
警報保留多久，
現場有多少人，
員工如何找到警報裡的人，
誰負責第二次確認，
以及什麼證據足以採取行動。
這就是為什麼，
只拿一個「99.98% 準確率」來討論整套系統，
其實還不夠。
一個模型可以有 99.98%，整條流程卻沒有 99.98%
假設導航系統判斷路線的準確率非常高。
但司機每次看到：
「前方右轉。」
都可能轉錯一個巷口。
那你真正關心的，
不能只是導航演算法有多準。
你要看的是：
最後車子到底有沒有到正確地方。
AI 也是一樣。
真正的系統通常不是：
AI → 答案。
而是：
AI
↓
警報
↓
介面
↓
員工理解
↓
找到現場對象
↓
再次確認
↓
採取行動
↓
錯了之後如何申訴。
其中任何一個環節出問題，
結果都可能錯。
所以真正要測的，
不能只有：
模型準確率。
還要有：
整條工作流程的錯誤率。
更麻煩的是：AI 警報會改變人類看人的方式
這裡還有另一個心理問題。
假設你走進一間房間以前，
有人先跟你說：
「裡面那個人可能是小偷。」
接下來，
你看到他東張西望，
可能覺得：
可疑。
看到他走得很快，
也覺得：
可疑。
甚至看到他解釋，
都可能覺得：
是不是在找藉口？
但如果一開始沒有人告訴你：
「他可能是小偷。」
同樣的行為，
你可能根本不會這樣解讀。
AI 警報也會產生類似效果。
它不是只提供一個答案。
它可能先替人類設定一個方向。
這種現象常被稱為自動化偏誤：
當機器看起來很準，
人會不自覺提高對它的信任，
降低自己重新檢查的意願。
所以真正好的人工確認，
不是問：
「AI 說的是不是看起來合理？」
而應該問：
「如果我現在沒有看到 AI 的答案，我自己會根據什麼證據做出這個決定？」
更值得注意的是，這不是第一次發生類似問題
Guardian 今年 2 月曾報導另一名 Sainsbury’s 顧客 Warren Rajah 的案例。
他在倫敦 Elephant and Castle 分店被要求停止購物並離店。
Rajah 後來聯絡 Facewatch，甚至提供自己的照片與護照資料，Facewatch 最後確認自己的資料庫中沒有他的紀錄。
當時 Sainsbury’s 與 Facewatch 同樣把事件歸因於店內的人為處理錯誤，而不是 Facewatch 本身錯誤配對。
也就是說，
今天真正需要調查的問題不能只停在：
「這一次是哪個員工認錯？」
而應該再往前一步：
為什麼一套號稱每次警報都要人工確認的流程，仍然可能讓員工找錯人並直接採取行動？
如果只是再提醒員工：
「下次小心一點。」
卻沒有重新檢查警報介面、確認程序、行動門檻與申訴流程，
相同類型的錯誤仍然可能發生。
另一方面，也不能假裝超市沒有真正的安全問題
這篇故事也不能走到另一個極端，
變成：
「超市根本不需要這種技術。」
Sainsbury’s 導入 Facewatch 的背景，
是英國零售業面臨持續增加的偷竊、暴力、威脅與員工安全問題。
Sainsbury’s 表示，早期兩店測試中，偷竊、傷害、攻擊與反社會行為紀錄下降 46%，而被辨識並禁止進入的對象中，92% 沒有再次回店。公司之後持續擴大系統，今年 4 月表示 Facewatch 已在 40 間 Sainsbury’s 使用，並計畫年底以前擴大到最多 200 間。
所以真正的問題不是：
安全重要，
還是隱私重要？
而是：
當一套安全工具有能力讓一個真人被拒絕服務、帶離現場，確認門檻應該有多高？
工具的影響愈大，
人工確認就愈不能只是一個形式。
「有人最後按按鈕」不是安全設計的終點
很多公司現在導入 AI，
都會說一句：
「放心，最後一定有人確認。」
但這句話真正有意義之前，
至少還要回答幾個問題：
那個人看得到原始證據嗎？
還是只看到 AI 結論？
他知道 AI 可能錯嗎？
還是公司一直告訴他準確率 99.98%？
他有權說：
「我不確定，所以先不要做。」
嗎？
錯誤決定如果已經發生，
使用者能不能很快找到真人重新審查？
以及最重要的一件事：
公司有沒有追蹤「AI 本身沒錯，但人類因 AI 警報做錯事」這一類事故？
因為這種錯誤，
如果只看模型準確率，
可能永遠不會出現在 AI 的成績單上。
AI 真正走進生活後，安全單位已經不是一個模型
這次事件最值得記住的，
不是 Facewatch 到底有多準。
而是一個更大的觀念：
以前我們問：
「AI 會不會答錯？」
未來更常需要問：
「AI 的答案進入真實世界後，整個系統會不會做錯？」
一個聊天機器人答錯一個冷知識，
你可能只是重新搜尋。
但如果 AI 的警報會影響：
你能不能進商店，
銀行會不會凍結交易，
保險會不會拒絕理賠，
醫療系統會不會標記異常，
公司會不會拒絕求職者，
那麼安全問題就不能只靠：
「模型很準。」
而必須變成：
模型、
介面、
權限、
人類判斷、
確認流程、
申訴機制，
全部一起設計。
Sainsbury’s 這次事件最值得提醒我們的，
不是：
AI 又犯錯了。
反而是：
就算 AI 沒有犯錯，人類和 AI 組成的系統仍然可能犯錯。
所以真正的 Human-in-the-Loop，
不是最後找一個人負責按確認。
而是讓那個人：
有足夠資訊，
有重新判斷的時間，
有否決 AI 的權力，
也知道什麼時候應該停下來。
AI 安不安全，
不只看它判斷得準不準。
還要看：
人類收到它的判斷以後，到底怎麼做。
今天，和 AI 一起進步一點。
每天學會一個 AI 技巧。
每天節省一點時間。
每天提升一點能力。
SasaDaily，陪你一起成長。
