What Are AI Security Risks? | AI Glossary

安全圈里有个说法叫"似曾相识"(déjà vu)。眼下这场围绕人工智能安全的讨论,让经历过终端安全转型期的老兵们闻到了熟悉的味道——不是那种令人安心的熟悉,而是警报响起前空气里弥漫的焦灼感。

二十年前,安全团队把全部精力押在杀毒软件更新、补丁管理和基线核查上。病毒库每天刷新,策略文件堆成山,合规报告做得漂漂亮亮。攻击者呢?他们根本不屑于跟你玩这套猫鼠游戏。新变种绕过签名检测零日漏洞在补丁下发前就已经完成了渗透。等到防御者反应过来,恶意软件早已在系统深处扎了根。

这段历史后来被称为"EDR前夜"——终端检测与响应(Endpoint Detection and Response)诞生之前的黑暗年代。


What Is Endpoint Detection and Response (EDR)? - Palo Alto Networks

终端安全的觉醒:从"长什么样"到"在干什么"

第一代终端安全工具问的都是有标准答案的问题:杀毒软件装了吗?补丁打了吗?配置合规吗?在那个相对静态的环境里,这些问题确实能挡住大部分麻烦。

但边界很快崩塌。笔记本电脑开始频繁出入公司网络,零日漏洞让病毒签名沦为摆设。安全团队突然意识到,单纯追问"这个文件看起来有问题吗"已经不够了——必须转而问"这个进程到底在做什么"。

这一问,彻底改写了游戏规则。

防御者不再死磕已知恶意样本库,开始紧盯进程树API调用链、横向移动轨迹和权限提升路径。行为本身成了信号源。基线检查告诉你"应该是什么样",行为检测告诉你"实际发生了什么"。前者是理想状态的快照,后者是真实战场的直播。

What Is a Security Operations Center (SOC) – Truesec

AI安全的现状:我们还在用老地图导航新大陆

把目光拉回现在。打开任何一家企业的人工智能安全清单,你会看到什么?模型卡片、AI专用SBOM、输入输出过滤器、提示注入防护、模型API的访问控制……这些措施当然有价值,但它们骨子里仍然是态势感知那一套——在问"应该是什么样",而不是"实际在发生什么"。

OWASP发布的智能体应用十大风险(Agentic Applications Top 10 2026)是个不错的框架但细读下来你会发现,它的控制项大多集中在安全态势层面:限制作用域、验证输入、强制执行最小权限。这些都是正确的第一步,却远非完整答案。我们之所以知道这一点,恰恰是因为终端安全领域已经交过昂贵的学费。

AI-Driven Threat Detection Systems: The Future of Cybersecurity | by Dr.  Minakshmi Shaw | Medium

更棘手的是AI普及的速度。未经采购审查就上线的开源大模型(LLM)、嵌入SaaS工具的第三方AI接口、被授予广泛系统权限的自主代理(Agent)、运行在敏感内部数据之上的RAG管道——"影子AI"这个词的出现与当年的"影子IT"如出一辙。技术采纳永远跑在政策前面,这是铁律。

核心矛盾与二十年前如出一辙:你无法通过加固一个你根本无法完全掌控的系统来实现安全。AI让终端运行变得更加动态、更加不透明,与业务逻辑的融合也更深。一个被攻破的AI代理不会只是安静地待在设备上,它会调用API、检索内部数据、跨系统执行操作、生成影响下游流程的输出。被攻陷的笔记本电脑和被劫持的AI代理造成的后果完全不在一个量级。

AI Threat Detection: Detect Modern Cyber Threats With AI

行为检测:AI安全的杠杆支点

你可能控制不了每一个AI交互界面,但监控这些系统的实际运行状态,却能让团队提前感知威胁、有效管理AI风险。

即便在尚未部署专门检测工具的环境里,行为信号也已经若隐若现:RAG管道中出现异常的数据访问模式、模型输出里残留着提示注入的痕迹、超出预期范围的代理发起意外工具调用、指向自动化滥用的令牌速率异常、暗示上游环节发生改变的输出漂移……

这些不是纸上谈兵的假设,而是当下就能观察到的现象。

这与EDR的核心逻辑高度相似。正如终端行为监控工具观察进程树和API调用链,AI行为监控观察的是操作序列:检索了哪些数据、调用了哪些工具、生成了什么内容、以何种顺序执行单个异常输出可能只是噪声,一连串异常操作则值得深入调查。

What Is Endpoint Detection and Response (EDR)? How Does It Work? | Fortinet

这正是SOC(安全运营中心)团队开展工作的底层逻辑。安全态势是审计检查点行为数据才是分诊队列。告诉分析师"这个代理拥有广泛权限",和告诉他"这个代理查询了敏感文档、格式化输出后启动了出站连接,且顺序前所未有"——前者是发现,后者是事件。

一条务实的路径:不是抛弃态势,而是补齐行为

终端安全的故事并没有以悲剧收场,它走向了成熟。那些提前投资行为遥测技术的团队,在威胁模型剧变时依然游刃有余。固守静态控制的团队,则在现实考验到来时被迫从零重建

AI安全领域正在经历同样的转折。以下是几个务实的切入点:

态势管理不能丢,但别让它成为瓶颈。 保持模型库更新,强制执行访问控制,落实OWASP防护措施。这些是基本功,不是战略制高点。

立刻开始记录AI系统行为,哪怕还没想好怎么用。 数据债务会越积越深,而行为历史是构建未来检测逻辑不可或缺的燃料。越早建立行为基线越能在漏洞暴露时从容应对。

优先覆盖风险最高的攻击面。 具有广泛系统访问权限的自主代理、连接敏感内部数据的RAG管道、面向外部用户或触发下游自动化的大模型功能——这些才是正确的起点,不是那些边缘实验项目。

用事件序列而非单点事件来思考。 这正是EDR的灵魂所在。单个异常API调用值得关注,但代理获取敏感文档、格式化输出、再进行意外外呼——这一系列动作拼起来才是一个完整的故事,才构成真正的检测信号。

弥合AI安全计划与SOC之间的鸿沟。 目前大多数AI安全工作由AI治理部门或数据团队主导,但行为检测天然属于SOC的领地。事件分类、响应手册、工具集成——这些能力都在SOC手里。如何把AI行为遥测数据送到分析师面前,一半是技术问题,一半是组织架构问题

Security Operations Center Monitoring: Turning Alerts into Action 24/7 -  City Wide Protection Services

信号已经存在,窗口不会永远敞开

AI的行为正在你的环境里产生信号。问题不是AI安全会不会从态势检测转向行为检测——答案是肯定的,原因与终端安全领域一模一样。真正的问题是,你的团队能否在关键时刻准备好对这些信号采取行动。

那扇窗还开着,但不会一直开着。

How AI Is Transforming Threat Detection in Cybersecurity

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐