2026年,AI智能体(AI Agent)从“技术演示”走向“落地上岗”,成为千行百业AI落地的载体。安全问题也随之浮出水面:当智能体开始“自作主张”地处理数据和操作业务时,谁来保证它不会泄露、越权、犯错?
AI智能体安全成为亟待破解的全新命题。面对智能体运行过程黑盒化、风险隐蔽化、审计缺失化等难题,京信万维(北京)技术有限公司(以下简称“京信万维”)正在探索破局之道。作为一家数据安全与人工智能安全的创业公司,京信万维斩获了2026年第三届“金灵光杯”中国互联网创新大赛人工智能安全专题赛一等奖,公司首席科学家团队研究成果亦获得了国际奖项认可。
AI智能体加速落地 “失明”和“失控”成最大风险
2026年2月,据TechCrunch等媒体报道,Meta AI安全研究人员Summer Yue分享了一次Agent“翻车”经历:她让OpenClaw检查邮箱,明确要求未经批准不要操作。但智能体仍开始批量删除邮件,连续下达停止指令也未奏效,她最终只能“像拆弹一样”冲到电脑前终止进程。
Agent被授予数据和工具权限后,AI安全的焦点正从模型“说错话”转向智能体“做错事”。“智能体正在执行什么、能否在造成损失前阻断”如果没有答案,失控的风险就始终存在。
而这种风险,正被另一股浪潮急速放大。
《财经》杂志在调研29家中国企业AI转型案例时发现,企业AI应用正出现一条自下而上的路径——一线员工借助AI编程工具自主“手搓”智能体。一家大型制造企业仅2026年一季度就开发了1.3万个智能体。
在企业真实业务中,智能体可以访问数据库、调用API、执行流程审批乃至交易操作,还可以层层委托其他智能体完成任务,但其决策和执行过程如同黑盒,企业看不清它们访问了什么数据、执行了什么操作、是否合规有授权、出了问题如何追溯、找谁负责——这正是“AI智能体安全监测审计”要解决的问题。
“智能体一旦开始处理核心业务数据,安全就不是加分项,而是前提条件”,京信万维CTO周浩向记者解释,“现有安全工具解决的是边界、流量和终端上的单点特征问题;而智能体的风险发生在行为层面、贯穿全链路,以往靠模式匹配的检测几乎失效,导致了对智能体风险失明的现状”
这催生了三重风险:
一是行为失控:恶意提示词、语义漏洞可以引发越权访问、高危指令执行、业务数据篡改;
二是数据失控:智能体在跨接口、跨系统调用时,碎片化带走政企涉密数据、用户隐私等敏感数据,泄露过程无感知、无记录、难溯源;
三是合规失控:审计链路不完整,数据流转、权限调用、行为轨迹无法追溯,智能体多层委托还可能带来授权传递失控,大大增加违反《数据安全法》等法规的风险和合规审计的难度。
在此背景下,智能体安全监测审计成为AI安全体系的刚需底座。“如果对Agent是失明的,一切安全管控都无从谈起。”周浩说。实际上,对于智能体运行可观测、可审计、可管控的要求,NIST、OWASP等机构已发布相关指南规范。
从数据安全到智能体安全
京信万维的起点是数据安全,对于为何切入AI智能体安全,周浩的回答是:“智能体安全问题一半在数据、一半在行为。”在他看来,数据安全解决的是“数据资产如何安全地流动”,而AI智能体恰恰是数据流动的新载体——它更快、更自动、更难监督。
现有安全方案往往只看见其中一段,传统网络安全和大模型内容安全都不能完整覆盖智能体执行路径、数据调用和权限操作。京信万维既有数据流转底图,又盯AI行为,把已有的数据安全监测审计能力与AI检测技术结合,同时引入语义分析和大模型研判,识别任务上下文中的恶意诱导和异常行为。
周浩介绍,智能体安全监测审计系统构建了“四维度三阶段”体系,即覆盖“基础设施-智能体框架-运行时状态-模型交互”四个维度,采用“规则引擎+语义引擎+大模型研判引擎”三个阶段的检测机制,对智能体输入、决策、执行全流程进行监测与审计,分层覆盖从已知高危威胁到隐晦高级越狱攻击的全谱系风险。这套系统在智能体运行的全流程布下观测点:工具调用、数据访问、高危操作、Prompt注入攻击的痕迹等,一旦发现风险可实时阻断,并形成完整审计链。
三阶段引擎逐级检测,兼顾检测准确率与运行性能,规避纯规则检测漏报、纯大模型检测成本高昂的痛点,整体审计效率提升三倍以上。同时,京信万维将层次分析法(AHP)引入智能体数据风险量化评估,整合多维风险因子,输出可量化的风险画像,为分级处置与合规审计提供依据。
AI检测与研判还需要资产、行为和数据流转记录的支撑。京信万维将数据安全积累延伸至四个方面:资产测绘,通过主动探测与被动识别发现未纳入台账的智能体;异常行为检测,将多源日志处理与行为建模用于智能体运行记录;数据流转监测,关注工具、接口调用中的敏感数据外传与跨域流动;合规审计,通过审计留证支持运行还原和操作追溯。
“这不是给智能体再加一层防火墙,而是给整个运行过程建立可追踪的记录,构建一套可监测、可审计、可管控、强合规的安全体系”,公司首席科学家、西安交通大学教授周亚东说。围绕运行过程如何被看清、诱导与越权如何被识别,京信万维做了持续研究。周亚东教授及其团队的研究成果《面向大模型越狱攻击的意图感知多Agent安全防御框架》获得了2025年亚太软件工程会议(APSEC)最佳创新思路奖。
将检测能力带进复杂业务场景
从数据安全到Agent安全,对业务逻辑的理解与适配是另一项积累。
传统网络安全产品对于业务逻辑并不太关注,而数据安全平台要真正落地,还需要结合用户的数据使用方式、权限关系和业务流程判断风险,这些对于落地Agent安全体系至关重要。
周浩认为,多年的数据安全平台建设经验,让团队沉淀了一整套把业务要求转化为安全规则的能力。京信万维为最高人民法院建设的数据安全平台曾获得数据安全行业奖项,评委对项目在复杂业务环境中落地能力给予了高度肯定。“能不能理解并适配复杂业务场景是真功夫” 周浩说,“到了Agent时代,安全公司必须换思路。智能体已经进业务里干活了,安全产品不能还停在业务外面。卖个盒子、部署验收就走,解决不了Agent安全治理的问题。”
据介绍,京信万维智能体安全监测审计系统在联通西部创新研究院覆盖了研发、测试、运维、数据安全等场景中的智能体全生命周期,在提升安全管理质效的同时,加快了智能体上线审批的速度。该系统已适配政务、通信、医疗等行业场景,正在国家部委、央企和省级大数据局等客户的核心业务场景上线。除了在用户端的探索,京信万维也在承担监管部门的相关国家科研课题任务,从监管视角研究智能体的可观测性和可审计性。
“全民手搓智能体”时代,安全仍需持续探索
有行业估计称,未来每个员工大约有90个智能体需要纳入防护。全球安全行业的注意力已经转向了“智能体”。谈及未来,周浩表示,“智能体自身架构变化很快,安全体系还在发展初期,但无论智能体如何演进,看得见、审得准永远是必修课。在产品层面,京信万维将以AI安全和数据安全双轮驱动,持续打造面向政企用户的新一代安全底座。在行业层面,我们需要探索基于可量化的审计指标去制定Agent安全标准,让用户和监管部门有据可查、有标可依,在安全合规的前提下加速AI落地进程。”
技术浪潮滚滚向前,AI智能体正重塑业务的运转方式,但技术红利的释放,永远离不开安全底座的托举,智能体安全治理能力将直接影响政企的AI业务能走多远。
第四十二届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhanghy
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。