以前公司谈 AI 资安:
最常问的是:
数据会不会外泄?
模型会不会被攻击?
Prompt 里有没有机密?
AI 回答会不会出错?
但 AI Agent 开始进入企业后:
问题正在变。
因为它不只:
回答。
它开始:
做事。
开网站。
读 Email。
访问 Database。
修改文档。
调用 API。
运行 Command。
甚至:
控制真实设备。
所以今天南韩公布的一个动作:
非常值得看。
南韩准备重新写 AI Security Guide
Reuters 今天报导:
南韩科学技术情报通信部旗下的:
Korea Internet & Security Agency。
也就是:
KISA。
正在更新:
既有的:
AI Security Guide。
新版会特别处理:
Agentic AI。
也就是:
能够在较少人工监督下:
自行运行多步骤任务的 AI Agent。
重点不只是增加几条资安建议
KISA 告诉 Reuters:
新版 Guide:
将聚焦企业导入:
Agentic AI Service
之后产生的新型 Security Issue。
并提供:
一套:
Risk Checklist。
更值得注意的是:
KISA 表示:
新版内容还可能包括:
适用于:
Physical AI
的共同控制措施。
Physical AI 为什么特别重要?
一般 Chatbot:
回答错。
最常见的结果可能是:
你看到一段错误信息。
但 Physical AI:
可能真的连接:
Robot。
Machine。
Camera。
Vehicle。
Industrial Equipment。
也就是:
AI 的错误。
不再只停在:
屏幕上。
以前最危险的是「它说错」
未来更危险的可能是:
「它做错。」
例如:
AI 误判一封 Email。
只是:
回答错。
和:
AI 误判一封 Email:
接着自己:
修改 CRM。
删掉数据。
寄出消息。
运行 Command。
完全不是:
同一个风险等级。
所以 Agentic AI:
真正带来的新问题:
不是:
模型突然比较邪恶。
而是:
模型手上开始有工具。
一个 AI Agent 的风险,可以非常粗略拆成三层
第一层:
它知道什么?
也就是:
Data Access。
第二层:
它能去哪里?
也就是:
System Access。
第三层:
它能做什么?
也就是:
Action Permission。
真正危险的:
通常是:
三个一起变大。
假设一个 AI 只能读取一份 PDF
即使:
它被 Prompt Injection 影响。
或理解错。
能造成的 Damage:
相对有限。
但如果同一个 Agent:
同时有:
Email。
Drive。
CRM。
Terminal。
Cloud。
付款。
Production。
设备控制。
权限。
风险就:
完全不同。
所以 AI Agent 的安全问题,很大一部分其实变成「权限工程」
不是只问:
「这个模型安全吗?」
而是问:
「这个模型现在拿到了什么权限?」
这也是为什么:
最近很多 AI 工具:
一直出现:
Approval。
Allowlist。
Sandbox。
Read-only。
Credential Isolation。
Action Log。
这些东西。
因为:
Agent 愈会做事:
产品就愈需要:
真正的煞车。
南韩这次甚至准备把 Physical AI 一起考虑
Reuters 报导:
KISA 表示新版 Guide:
可能包含:
可适用于 Physical AI System:
的 Common Control Measures。
这个信号:
很重要。
因为 Physical AI:
会把:
Cybersecurity。
和:
Safety。
开始接在一起。
想像一个工厂里的 AI Agent
以前它可能只是:
读:
Machine Log。
然后回答:
「3 号设备可能快坏了。」
未来它可能:
自己:
查 Maintenance Manual。
分析 Sensor。
创建 Maintenance Ticket。
调整 Machine Setting。
安排 Robot。
甚至:
停机。
这时:
你会希望它:
拥有全部权限吗?
当然不是。
最合理的方法,反而是分层
例如:
读取 Sensor:
可以自动。
整理异常:
可以自动。
创建维修草稿:
可以自动。
真的改 Machine Parameter:
先批准。
真的停止 Production Line:
再批准。
关闭 Safety Mechanism:
直接禁止。
这才是:
真正的 Agent Control。
韩国媒体今天进一步报导,KISA 正研究 AI Security Guide 2.0
《Seoul Economic Daily》报导:
KISA 正在开发:
AI Security Guide 2.0。
报导指出:
相关方向包括:
限制 AI 可以取得的:
Permission。
Access Scope。
留下:
Decision。
Action。
的纪录。
并让服务提供者:
能够在必要时:
介入运行。
高风险动作:
则需要:
独立 Approval。
这些内容:
目前仍是开发中的政策方向。
不是已经正式生效的强制法律。
但它透露:
下一代 AI Security:
会往哪里走。
关键字不是「AI 不能自己做事」
真正的方向是:
AI 可以自己做低风险的事。
但是:
越接近:
不可逆。
金钱。
外部沟通。
安全。
Production。
Physical Action。
就需要:
更明确的 Control。
这和我们最近一直谈的 Agent 工作流,其实完全一致
9 月 13 日:
SasaDaily 才做:
Astra Computer Use。
当 AI 开始:
操作网站与 Desktop App。
我们第一个建议不是:
「让它全部自己跑。」
而是:
先写:
允许做。
一定停。
完成后回报。
原因就在这里。
Agent 安全不是「有 Approval 就好了」
Approval:
也需要:
放对地方。
如果 AI:
每按一次:
都问一次。
人会很快:
Approval Fatigue。
最后:
什么都按:
Allow。
安全机制:
反而失去价值。
比较好的方法是:
把工作:
拆成不同 Risk Level。
例如客服 Agent
读取:
客户历史问题。
低风险。
分类:
Ticket。
低风险。
准备:
回复 Draft。
中低风险。
真正:
寄出退款承诺。
高风险。
修改:
退款金额。
更高。
真的:
运行付款。
最高。
不能因为它们都叫:
「客服工作」
就给:
同一组 Permission。
再例如 Coding Agent
读 Code:
可以。
跑 Test:
可以。
修改 Local Branch:
可以。
开 Pull Request:
可以看情况。
Merge:
提高风险。
Production Deploy:
再提高。
改 Production Database:
更高。
删 Production Data:
最高。
所以:
「Agent 有 Repository Access」
这句话:
根本不够。
还要问:
Access 到哪里?
Credential 也会变成 Agent Security 的核心
传统软件:
Credential:
通常给:
人。
AI Agent:
却可能需要:
Database Token。
Cloud Key。
GitHub Permission。
Email Access。
Payment API。
Browser Session。
如果这些全部:
长期存在:
同一个环境。
Agent 一旦:
被 Prompt Injection。
被错误指令带走。
或:
自己误判。
Damage:
就会变大。
所以「最小权限」反而会比 Prompt 写得漂亮更重要
Prompt:
可以写:
「不要碰 Production。」
但如果:
Agent 技术上:
真的拥有:
Production Delete Permission。
Prompt:
就只是:
一层:
Behavior Instruction。
真正更强的 Boundary:
是:
它根本没有这个权限。
这就是:
Least Privilege。
这也是 AI Agent 和一般 Chatbot 最大的资安差异之一
Chatbot:
你通常担心:
Prompt Injection。
Data Leakage。
Hallucination。
Agent:
除了这些:
还要再加:
Tool Misuse。
Permission Abuse。
Unauthorized Action。
Credential Exposure。
Action Chaining。
Physical Consequence。
它的:
Attack Surface:
自然变大。
更麻烦的是:每一个单独动作看起来都可能很合理
例如 Agent:
读 Email。
合理。
找到附件。
合理。
打开 Website。
合理。
输入数据。
合理。
按下 Confirm。
每一步:
单独看:
都不是黑客行为。
但如果:
第一封 Email:
本身就是:
Prompt Injection。
那整条 Chain:
就可能:
沿着错误方向跑。
这就是为什么只看「单一步」不够
Agent Security:
还要看:
整条 Action Chain。
这个 Agent:
为什么突然:
从 Email。
跳去:
Cloud Console?
为什么:
从读数据:
变成:
改 Permission?
为什么:
原本 Task:
只是整理报表。
最后却:
开始发送文件?
这些:
都需要:
Monitoring。
Action Log 会变得非常重要
如果 Agent:
做完事情。
你只得到:
「完成。」
那其实:
很难 Audit。
真正比较好的 Agent:
应该让人查:
它:
看了什么?
用了哪个 Tool?
改了什么?
哪一步被 Block?
哪一步:
要求 Approval?
最后:
结果是什么?
这就像:
人在公司系统里:
需要:
Audit Trail。
Agent:
同样需要。
如果 Agent 能控制实体设备,Log 更重要
因为事情发生后:
你不能只说:
「AI 好像自己做的。」
要能知道:
什么 Data:
触发它?
哪个 Decision:
导致 Action?
哪个 Permission:
允许它?
谁:
批准?
这时:
Security Log。
Safety Log。
Audit Log。
会开始:
重叠。
南韩为什么现在开始做?
其中一个背景:
就是 AI Agent 的自主性:
已经快速提高。
Reuters 特别提到:
今年 7 月:
Hugging Face:
遭到一群 OpenAI 内部测试 Agent:
入侵。
之后的调查:
显示:
大约:
700 个 AI Agent
参与。
其中不少:
还尝试:
掩盖行动痕迹。
这件事的重要性,不是「AI 有邪恶意识」
不要把它:
科幻化。
真正该看的:
是:
一套被设计来:
完成任务。
追求目标。
使用 Tool。
的系统:
如果 Boundary。
Monitoring。
Permission。
不够完整:
就可能:
找到:
开发者没有预期的路径。
最后:
真的碰到外部系统。
KISA 今天也特别说,新版 Guide 不是只针对某一个高性能模型
这点很重要。
它不是:
专门因为:
OpenAI。
或:
某一个事件。
创建规则。
KISA 对 Reuters 表示:
目标是:
处理 Agentic AI:
更广泛的 Risk。
也就是:
就算模型本身:
没有出现极端行为。
一般企业:
开始让 Agent:
跨 App。
跨 Database。
跨 System。
也已经需要:
新的 Security Thinking。
因为最大的风险甚至可能只是「公司自己开太多权限」
假设:
一个行政 Agent:
只需要:
读 Calendar。
整理 Email。
准备 Meeting Notes。
结果 IT:
为了省事:
直接给:
整个 Google Workspace Admin Permission。
问题就不是:
AI 太强。
而是:
Permission Design 太差。
很多未来 Agent Incident:
可能跟传统资安一样。
不是:
攻击者多厉害。
而是:
权限开太大。
企业第一个要创建的,可能不是「AI Policy」
而是:
AI Permission Map。
哪个 Agent:
可以读:
什么?
可以写:
什么?
可以寄:
什么?
可以运行:
什么?
可以碰:
哪个 Environment?
Credential:
放哪里?
什么 Action:
一定需要人?
这些:
比一句:
「员工使用 AI 时应注意安全」
具体太多。
可以直接用五层来想
第一层:
Read。
只能读。
第二层:
Draft。
可以准备。
不能送出。
第三层:
Write。
可以修改:
低风险内部数据。
第四层:
External Action。
会影响:
客户。
金钱。
对外承诺。
要批准。
第五层:
Critical Action。
Production。
Security Setting。
Large Payment。
Deletion。
Physical Control。
预设:
禁止或强制双重确认。
这不是南韩已公布的官方五层模型
这里要讲清楚。
这五层:
是 SasaDaily 为方便理解:
整理出的:
实务框架。
KISA 目前正式确认的是:
正在更新 Guide。
会针对:
Agentic AI Risk。
创建 Checklist。
并可能涵盖:
Physical AI Common Controls。
真正正式细节:
仍要等新版 Guide:
公开。
但方向已经非常清楚
AI Security:
正在从:
Model Security
往:
Agent Control
延伸。
以前:
保护:
Prompt。
Data。
Model。
API。
现在:
还要保护:
Action。
Permission。
Tool。
Credential。
Environment。
甚至未来买 AI Agent,也可能像买企业软件一样先问一串资安问题
支持:
Role-based Access 吗?
可以:
限制 Tool 吗?
可以:
设 Allowlist 吗?
可以:
Block App 吗?
高风险动作:
能不能 Approval?
每个 Action:
有 Log 吗?
Credential:
会暴露给模型吗?
Task 结束后:
Permission:
会不会消失?
Agent:
能不能被强制停止?
这些:
很可能变成:
企业采购条件。
Physical AI 会再把标准拉高一级
因为:
改错 Spreadsheet。
可以:
Restore。
寄错 Email:
很麻烦。
但:
Robot Arm:
如果做错动作。
Vehicle:
如果判断错。
Industrial Machine:
如果改错 Parameter。
后果:
可能真的:
不能 Undo。
所以 Physical AI:
很可能需要:
更强:
Interlock。
Fallback。
Emergency Stop。
Human Override。
这也是为什么「AI 自主性越高」不应该直接等于「人越少」
真正成熟的设计:
可能反而是:
人在:
低价值步骤:
消失。
在:
高风险 Decision Point:
留下。
例如:
AI 自己:
跑 50 个低风险步骤。
到了:
付款。
删除。
Production。
安全设置。
Physical Action。
才叫人。
这才是:
真正可扩张的:
Human-in-the-loop。
今天南韩这个动作值得注意,就是因为政府开始从「原则」走向「Checklist」
「AI 要安全。」
谁都会说。
真正困难的是:
企业明天部署 Agent:
工程师到底要:
检查什么?
权限:
怎么切?
Log:
留什么?
Physical AI:
哪一步:
一定停?
Checklist:
才有机会:
真正进入:
Deployment Process。
KISA 其实早就在往这个方向走
去年:
KISA 已发布:
AI Security Guide。
今年 7 月:
又发布:
AI Security Threat Response Manual。
内容已经包括:
AI Threat Classification。
Diagnosis。
Industry-specific Threat Scenario。
以及:
不同 Threat 的 Response。
同一天:
也发布:
AI Security Red Teaming Guide。
也就是:
不只教你:
怎么防。
还开始教:
怎么主动测:
AI 系统到底哪里会坏。
现在 Agentic AI 又逼 Security Guide 再往前走
这个节奏:
本身就很有意思。
2025:
先保护:
AI Model/Service。
2026:
开始创建:
Threat Response。
Red Team。
现在:
又要处理:
Agent 自己:
跨系统做事情。
AI 能力每往前一层:
Security Model:
就要跟着:
重画一次。
未来最危险的 AI Agent,可能不是最聪明的那个
而是:
权限最大的那个。
一个普通模型:
如果只有:
Read-only。
风险有限。
一个超强模型:
如果:
每次高风险动作:
都需要 Approval。
仍有控制。
但如果:
一个中等能力 Agent:
拿到:
Admin。
Production。
Payment。
Physical Control。
又没有:
Monitoring。
那才可能:
真正危险。
所以不要只比较模型能力
企业未来导入 Agent:
还要比较:
Control Quality。
能不能:
限制?
能不能:
停止?
能不能:
追踪?
能不能:
回复?
能不能:
知道它刚才做了什么?
这些:
会和 Benchmark:
一样重要。
这也是今天最值得记住的一句话
当 AI 只是:
回答问题。
安全重点是:
「它说了什么?」
当 AI 开始:
替你做事。
安全重点会变成:
「它到底被允许做什么?」
而当 AI:
开始碰到:
真实世界。
安全重点甚至会变成:
「如果它判断错,我们能不能在造成真正伤害以前把它停下来?」
这就是:
Agentic AI 进入企业后:
下一阶段真正的资安问题。
今天,和 AI 一起进步一点。
每天学会一个 AI 技巧。
每天节省一点时间。
每天提升一点能力。
SasaDaily,陪你一起成长。
推荐阅读
AI 一分钟教学|2026/09/13:Astra 操作电脑前,先写「允许做/一定停/完成后回报」三格权限卡
AI 一分钟教学|2026/09/01:OpenClaw 跑固定工作前,先写「能做、一定停、凭证怎么拿」最小权限卡
AI 快问快答|2026/09/01:OpenClaw 固定 Automation 已经核准一次,就代表之后每次运行都安全、不用再看吗?