CIO时代的调研表明，超过一半的CIO并没有为可能到来的AI风险做好准备，只有12%的CIO表示企业在部署AI应用时会面临来自AI安全方面的挑战。但一些拥有深厚AI实施经验的CIO却认为，AI风险并没有完全暴露出来，当AI风险到来时，可能会带来极大的麻烦。那么，当AI风险真正显现出来时，它的真面又是什么样的？现有的“深度防御”策略能防住AI风险吗？


 
AI风险带来的大麻烦
关于AI风险带来的大麻烦，亚马逊云科技的安全顾问Hart Rossman的意见可能最具代表性。他认为到生成式AI有两个特别值得注意的现象，分析这些现象有助于企业理解AI安全的核心基础。
第一个现象是大语言模型的授权模型早已不再是针对单个数据元素，不像过去那样在数据库中设置行级或单元格级别的权限。在大语言模型里，用户可以访问所有信息，用户理论上可以拥有为整个模型本身建立访问控制和授权机制，而不是针对模型内部每条数据逐个控制。或者更为形象地解释，大模型在完成了训练之后，已经变成了一个封闭的系统。
这就象一般人对于IT系统，在IT应用被编译之前，它是一行行有编程能力的人能够理解的代码，而被编译之后，除非是有反编译能力的人，否则系统已经被编译，内部细节便无法再查看或修改。这样用户所拥有的，只是对底层训练数据进行授权，而不可能对“模型本身”进行访问控制和授权。这样，模型本身变成了一个黑盒子，它已经处于一种失控的状态。
第二个现象AI智能体时代正在来临，它们可以被编排，也可以实现协同工作，企业员工已经开始把AI智能体当作“虚拟同事”来看待。许多组织将AI智能体视作更复杂分布式系统中的一部分，当实体人类员工与虚拟智能体员工一起工作时，就需要确定如何合理赋予AI智能体权限，确保它在安全可控的前提下完成任务。
许多有先见之明的企业，只让智能体只能被人类工作，而人类则拥有决策权。当这个前提被确定之后，就有些类似于零信认安全，它本身是一种深度防御策略，以身份为核心，然后才是架构、数据、运维、响应。
 
防御，从今天开始
人工智能并不完美，可能生成虚假或误导性内容，因此不应被视为完全可信的工具。过度依赖大模型的弊端已经日渐显现，大模型幻觉导致的虚假信息频现，一些大模型甚至在测试中出现不受控制的风险。
尽管多数实施AI应用的厂商没有意识到可能来临的AI风险，但实际上在厂商层面已经有所行动。随着越来越多的企业开始推动AI智能体的规模应用，IBM近日就推出了业内首款整合了AI安全与AI治理，并提供企业风险态势统一视图的软件。
但厂商对于AI风险的防御措施是否足够呢？显然还是不够的。因为对于AI风险的对抗，必须做到事前、事中和事后。事前就要求开发者在编码阶段自动执行安全检查，实现“安全左移”，也就是在软件开发生命周期的早期，就把潜在的安全隐患消除。还要进行漏洞评估和渗透测试，从而从整体安全测试策略中获得更高质量的检测结果。事中则要进行及时的事件响应，事件响应的本质是调查，涉及数据分析、解读和推理。如果AI风险真正来临，还要制定应急措施。在危害发生之后，进行补救。


第四十一届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。