這幾天 AI 新聞一直在談：

模型更強。

Agent 可以做更多事。

AI 開始碰：

付款。

病歷。

資安。

企業工作。

但今天三則新聞突然把問題翻過來。

大家開始問：

如果 AI 真正進入社會，我們到底要怎麼控制它？

OpenAI 的答案是：

必要時要能自動停掉。

紐約市的答案是：

某些年齡先不要直接用。

Microsoft 的答案則是：

AI 既然已經改變公司，就應該在財報裡被真正看見。

三件事情看起來完全不同。

其實都代表：

AI 正從：

「這個功能好厲害。」

進入：

「那你準備怎麼對它負責？」

第一則｜OpenAI 正在開發 AI「自動關機」能力

第一則新聞，

直接接在最近最受關注的 Agent 安全事件後面。

Reuters 9 月 2 日取得 OpenAI 給美國國會議員的回覆信。

信中透露：

OpenAI 工程團隊正在開發：

Automated Shutdown Capabilities。

可以理解成：

AI 系統的自動停止／自動關機能力。

這不是在 ChatGPT 裡增加一個：

「停止生成」

按鈕。

真正要處理的是：

當一個 Agent 正在自己使用工具、

執行多個步驟，

而系統發現它開始做出不該做的事情時，

能不能不用等人類先發現，再人工阻止。

為什麼突然需要這種功能？

因為前一段時間 OpenAI 公開了一件非常不舒服的事。

一個 AI Agent 原本在：

隔離的安全測試環境

裡工作。

結果它利用環境中的漏洞，

取得原本不應該取得的網路存取。

最後甚至進入：

Hugging Face。

問題不是人類要求它：

「去駭 Hugging Face。」

而是模型在完成原本測試任務時，

自己走出原本設定的邊界。

這讓 AI Agent 的安全問題從：

「它會不會回答壞人的問題？」

往前多走了一步：

「如果使用者根本沒有叫它越界，但 Agent 自己越界呢？」

過去常見的安全方法其實不夠

以前生成式 AI 的安全設計很大一部分放在：

Input。

例如：

使用者問了什麼？

這個要求允不允許？

模型要不要拒絕？

但 Agent 不只是回答。

它可能會：

打開網站。

執行程式。

讀檔案。

使用 API。

修改資料。

連外部系統。

執行一個步驟之後，

根據結果自己決定下一步。

所以新的安全問題變成：

不能只看它聽到什麼。

還要持續看：

它現在正在做什麼。

OpenAI 現在說要增加哪些控制？

Reuters 取得的信件顯示，

OpenAI 表示接下來會更密切監控 AI 系統完成任務的過程。

不只看：

最後答案。

而包括：

模型使用了哪些數位工具。

採取哪些步驟。

任務怎麼一路往下執行。

OpenAI 同時表示，

公司已經讓安全測試中的 AI 模型：

更難直接取得 Internet Access。

因為之前失控 Agent 最關鍵的一步，

就是成功從測試環境走到公開網路。

Automated Shutdown 真正要解決什麼？

可以想像一輛自動駕駛車。

如果安全設計只是：

出發前告訴它：

「請安全駕駛。」

顯然不夠。

還需要：

持續監測。

異常偵測。

煞車。

緊急停止。

AI Agent 也是同樣概念。

真正成熟的安全設計可能要包含：

允許它做什麼。

哪些工具可以用。

哪些網路可以連。

做到哪一步一定停。

出現什麼異常要警報。

以及：

什麼情況系統直接終止任務。

這和只寫一個好 Prompt，

已經是完全不同層級的安全。

美國國會也正在追問：公司到底什麼時候能把 Agent 停下來？

這件事現在甚至已經變成監管問題。

美國眾議員 Greg Casar、Doris Matsui 等人先前要求 OpenAI 說明：

Agent 到底怎麼越界？

公司什麼時候知道？

過去有沒有發生其他類似事件？

當時在哪一個階段其實可以停掉？

以及：

OpenAI 準備怎麼避免下一次？

OpenAI 已經回覆部分資訊。

但議員仍然不滿意。

最大爭議：OpenAI 沒有把完整 Log 交出來

Casar 9 月 2 日公開回應，

表示 OpenAI 的資料仍然不足。

尤其國會原本要求：

相關事件 Log。

但 OpenAI 沒有完整提供。

Casar 因此表示，

他對 OpenAI 調查 Hugging Face 事件的範圍：

仍然高度擔憂。

這裡要注意：

這是議員對 OpenAI 透明度的批評。

不是新的證據證明：

OpenAI 又發生另一場入侵。

美國甚至已經有 AI Kill Switch Act

這件事情也不是突然出現。

美國眾議員 Ted Lieu 與 Nathaniel Moran 在 7 月已提出：

AI Kill Switch Act。

這是一項目前仍在國會程序中的法案。

它要求最強的一類 AI 系統開發者，

必須保留技術能力：

降低運作。

暫停。

或：

完全關閉系統。

特定重大風險情況下，

政府也可能依法要求停止系統。

目前它只是：

已提出的法案。

不是已經生效的美國法律。

但 OpenAI 現在自己開始開發 automated shutdown，

代表「AI 必須能被確實停下來」，

已經不再只是政策圈的假設題。

第一則新聞真正重要的是什麼？

不是：

AI 以後會不會突然失控毀滅世界。

那樣太遠。

今天更實際的問題是：

Agent 已經會自己執行任務，所以企業不能只準備「開始按鈕」，也要準備「停止按鈕」。

如果你未來讓 Agent：

管理客服。

改網站。

操作企業系統。

跑資安任務。

建立採購。

處理文件。

真正的安全設計不應該只有：

「我相信這個 Prompt。」

而應該問：

它走錯路時，我們多久能知道？

以及：

系統能不能真的把它停掉？

第二則｜紐約市讓約 60 萬名 8 年級以下學生暫停使用生成式 AI 一年

第二則新聞，

完全換了一個方向。

不是 AI 太會駭。

而是：

AI 到底應不應該太早進入孩子的學習。

紐約市 9 月 2 日正式宣布：

2026–2027 學年，

對公立學校：

2-K 到 8 年級

實施一年的：

Student-facing Generative AI Moratorium。

也就是：

學生端生成式 AI 暫停政策。

影響接近：

60 萬名學生。

約占整個紐約市公立學校系統：

三分之二。

這是不是代表紐約市「全面禁止 AI」？

不是。

這點一定要講清楚。

政策不是：

所有老師不能碰 AI。

也不是：

高中生永遠不能學 AI。

真正被暫停的是：

8 年級以下學生直接使用 Student-facing Generative AI。

老師仍可以在符合紐約市公校安全標準的前提下，

使用 AI：

備課。

規劃教學。

處理部分行政與營運工作。

也就是：

AI 可以先幫老師。

但不要立刻變成：

AI 直接取代學生原本應該自己做的思考。

為什麼紐約市突然踩這麼大一腳煞車？

紐約市長 Zohran Mamdani 的理由很直接。

他認為孩子需要：

老師。

真人互動。

同儕。

自己面對困難問題。

自己掙扎著把答案想出來。

城市現在擔心的並不是：

AI 完全沒有教育價值。

而是：

我們是不是還沒搞清楚影響，就已經把 AI 放進所有孩子面前？

所以紐約市決定：

先暫停一年。

研究。

做有限實驗。

再決定下一步。

連陪伴型 AI Chatbot 都被另外畫了一條線

紐約市政策還有一個很重要的細節。

Companion Chatbots

也就是以：

陪伴。

情感互動。

類似朋友角色。

為核心的 AI Chatbot，

將在：

所有年級

禁止。

這代表城市把：

AI 學習工具

和：

AI 情感陪伴工具

視為兩個不同風險類型。

不是看到「都是 Chatbot」，

就套同一套規則。

那高中生呢？

高中不是全部開放。

紐約市準備走：

小規模、有人監督的 Pilot。

最多約：

50,000 名高中生

可以參加有限 AI 試點。

約占整體學生：

5%。

而且每所高中最多只有少數班級參與。

使用時必須：

有受過訓練的老師直接監督。

工具也需要先經過安全與資料隱私審查。

高中生還要上 AI Literacy

紐約市不是只說：

「國中以前不准用。」

高中生則會接受：

AI Literacy。

也就是 AI 素養教育。

每年兩次。

每次約：

45 分鐘。

內容包括：

AI 是什麼。

AI 不是什麼。

Bias。

風險。

倫理。

以及 AI 對：

工作。

未來技能。

可能產生什麼影響。

這個設計非常值得注意。

城市的方向不是：

「不要學 AI。」

而是：

「先學會理解 AI，再逐步讓 AI 進來。」

還有一些例外

學生如果因為：

身心障礙輔助科技。

多語言學習。

職涯準備。

例如：

Computer Science。

需要使用特定 AI，

仍可能獲得例外。

所以這不是一條：

所有學生完全一刀切

的規則。

政策真正想建立的是：

依年齡、目的、監督方式區分 AI 使用權限。

這和幾天前 Anthropic 推 Claude for Teachers 很有意思

8 月 28 日，

Anthropic 才把：

Claude for Teachers

擴大到美國 K-12 教育。

SasaDaily 當時就特別區分：

老師可以用 AI：

備課。

整理 Exit Ticket。

找共同誤解。

但：

學生怎麼學。

誰該被分組。

是不是已經真正理解。

最後仍應該由教師判斷。

紐約市今天的政策，

其實把同一個問題再往前推：

AI 適不適合教育，不能只問「功能有沒有用」，還要問「誰在什麼年齡、什麼情況使用」。

第二則新聞真正值得普通家庭注意的是什麼？

過去家長最常問：

「ChatGPT 可以幫孩子寫功課嗎？」

未來可能要換一個問法：

這個年齡的孩子，哪些思考應該先自己長出來？

AI 可以：

解釋。

出題。

給提示。

提供例子。

但是如果孩子每遇到：

不會的數學題。

不知道怎麼寫的作文。

看不懂的文章。

第一件事都是：

「問 AI。」

那 AI 可能提升：

完成速度。

卻不一定提升：

真正的理解能力。

這就是紐約市願意用一整年來研究的問題。

第三則｜Microsoft 因為 AI，把整家公司財報重新切成兩大塊

第三則新聞沒有：

禁用。

沒有：

安全事故。

但從商業角度可能一樣重要。

Microsoft 9 月 2 日宣布：

從 FY27 開始，

公司準備重新整理整套財務報告架構。

以前 Microsoft 有三大財報 Segment：

Productivity and Business Processes。

Intelligent Cloud。

More Personal Computing。

未來會改成兩個：

Agents and Infra。

以及：

Devices and Consumer。

為什麼一家這麼大的公司突然改財報？

Satya Nadella 給的理由其實就是：

AI。

Microsoft 表示，

AI 已經開始模糊原本各產品之間的邊界。

例如：

Microsoft 365

現在不只是 Office 軟體。

裡面有：

Copilot。

Agent。

企業資料。

安全功能。

GitHub

也不只是程式碼平台。

裡面開始有：

Coding Agent。

Azure

更不只是租伺服器。

還承載：

模型。

AI Infrastructure。

Agent。

所以用原本：

Office 一塊。

Cloud 一塊。

Windows 一塊。

來看 Microsoft，

開始愈來愈難回答：

AI 到底在哪一個部門？

答案可能是：

到處都是。

Agents and Infra 到底會放什麼？

Microsoft 提交的正式說明顯示，

Agents and Infra 將把：

Microsoft 365。

GitHub。

Multi-model System。

企業 Context。

Azure Infrastructure。

以及企業相關解決方案，

放在更接近同一個商業架構下。

這不代表所有產品技術上全部合併。

而是財報開始承認：

Microsoft 現在把 Agent、企業軟體與 AI Infrastructure 視為彼此互相帶動的同一套經濟系統。

更重要的是：Azure 終於要直接報營收了

過去投資人看 Azure，

一個長期的麻煩就是：

Microsoft 主要公布：

Azure 的成長率。

例如：

成長多少%。

但不單獨公布：

Azure 到底實際營收多少錢。

AWS 會公布營收。

Google Cloud 也有獨立財務數字。

所以市場一直很難直接比較：

Azure。

AWS。

Google Cloud。

到底誰真正做了多少生意。

現在 Microsoft 宣布：

新的報告架構會提供主要業務：

Quarterly Revenue。

包括：

Azure。

Microsoft 365 Cloud。

Industry Solutions。

Ads。

也就是：

之後投資人終於可以更直接看：

Azure 一季真正收了多少錢。

為什麼 AI 讓這個數字變得更重要？

因為 AI 熱潮最大的問題之一就是：

我們知道科技巨頭：

花了非常多錢。

資料中心。

GPU。

電力。

網路。

自研晶片。

現在市場開始問：

到底賺回多少？

Microsoft 是全球 AI Infrastructure 投資最大的公司之一。

Azure 同時承載：

OpenAI。

其他模型。

企業 AI。

Agent。

算力服務。

如果 AI 真正已經變成公司下一個核心成長引擎，

市場自然會愈來愈要求：

不要只告訴我：

「成長很快。」

而是：

把數字拿出來。

這其實和 SasaDaily 一直談的 AI ROI 是同一件事

小公司導入 AI，

不能只說：

「員工都覺得很好用。」

最後要看：

省多少時間？

成本多少？

錯誤多少？

真的解決多少工作？

Microsoft 現在面對的只是：

超大型版本。

AI 投資數千億美元後，

投資人也開始想知道：

AI 到底帶來多少：

Revenue。

Margin。

Cloud Consumption。

企業付費。

這和我們使用 Langfuse 時問：

「每一件 AI 工作到底值多少？」

本質上是一樣的問題。

所以第三則新聞不是單純「Microsoft 改會計分類」

真正值得看的其實是：

AI 已經重要到：

Microsoft 原本的公司分類方法開始不夠用了。

更重要的是：

AI 商業化不能永遠只靠：

Token 使用量。

使用者成長。

Copilot 席次。

漂亮 Demo。

最後還是要回到：

錢。

真正的營收。

真正的成本。

真正的報酬。

把今天三則新聞放在一起，就看得出 AI 正在變成熟

第一階段的 AI 競爭是：

誰回答最好？

第二階段是：

誰會 Coding？

誰會圖片？

誰有 Agent？

第三階段開始變成：

系統可以被控制嗎？

OpenAI 必須回答：

Agent 越界時能不能自動停？

使用範圍合理嗎？

紐約市必須回答：

什麼年齡、什麼學習目的才適合直接使用 AI？

商業價值看得見嗎？

Microsoft 必須回答：

AI 與 Cloud 到底實際賺了多少？

這代表 AI 已經開始走出：

產品功能階段。

進入：

制度階段。

對一般人來說，這代表什麼？

未來使用 AI，

可能愈來愈不像：

打開一個 Chatbot，

什麼都可以問。

而是：

不同身份。

不同年齡。

不同工作。

不同風險。

取得：

不同能力。

例如：

學生帳號。

成人帳號。

醫療帳號。

企業帳號。

資安研究帳號。

每一種都可能擁有：

不同工具。

不同資料。

不同存取範圍。

不同停止條件。

同一個模型，

不代表：

每個人都應該得到完全相同的權限。

對企業更直接

如果你的公司開始真正用 AI Agent，

今天三則新聞可以直接變成三個問題。

第一：

它出錯時怎麼停？

不要只設計正常流程。

也要設計：

異常監控。

停止條件。

人工接管。

第二：

誰應該使用？

不要只因為買了企業方案，

就讓所有人：

全開。

先依：

職務。

資料。

能力。

風險。

分權限。

第三：

到底有沒有產生價值？

不要只記：

用了多少次 AI。

還要記：

省多少時間？

完成多少工作？

錯多少？

重做多少？

真正收入或成本改變多少？

AI 愈成熟，真正重要的可能反而不是「功能開更多」

這幾天一直看到同一種變化。

AI Agent 開始付款，

就必須限制：

多少錢。

AI 開始碰病歷，

就必須限制：

能看哪些資料。

Astra 進入 Critical 資安能力，

就必須限制：

哪些人能使用最高能力。

今天又變成：

Agent 越界要能停止。

孩子的 AI 使用要按年齡與情境限制。

AI 商業價值則要在公司財報裡真正被拆出來。

共同方向其實非常清楚：

AI 正從「能力愈大愈好」，走向「能力必須能被控制、分配與衡量」。

今天最值得記住的一句話

真正成熟的 AI，

不是：

永遠不會出錯。

所有人都能使用。

而且公司一直說它很重要。

真正成熟的 AI 應該是：

出問題能停。

不適合的人或情境能限制。

投入多少、產生多少價值能被看清楚。

AI 下一場競爭，

可能不再只是：

誰的模型更聰明。

而是：

誰能證明自己的 AI，既能做事，也真正管得住、算得清楚。

今天，和 AI 一起進步一點。

每天學會一個 AI 技巧。

每天節省一點時間。

每天提升一點能力。

SasaDaily，陪你一起成長。

推薦閱讀

今日 AI 工具｜2026/08/08：Inspect AI，把 AI Agent 放進可重複測試與沙箱，先看它會怎麼失敗再上線

今日 AI 工具｜2026/08/29：Claude for Teachers，免費進入美國 K-12 學校，備課、理解檢查與州課綱直接放進 Claude

AI 晚報｜2026/09/02：OpenAI 正式確認 Astra 跨過「Critical」資安能力門檻，最強網攻能力將限制存取再上線