2025-05-27 17:11:02 来源：
5月17日，由CIO时代主办，新基建创新研究院作为智库支持的“科技至卓，同行至远 | 2025 CIO百人会高峰论坛”在北京重磅举行。蚂蚁数科AI科技产品总监鲁玮带来“AI大模型驱动下内容生成场景的安全防御设计与实践”主题演讲。
蚂蚁数科AI科技产品总监 鲁玮
精彩观点
AI安全是智能时代的信任基石，企业需从“被动防御”转向“主动治理”，通过评测标准化、防御智能化、策略动态化构建可持续的安全能力。蚂蚁数科愿以技术积累赋能行业，推动“安全即服务”生态建设，助力企业在AI浪潮中实现创新与风险的平衡。
AIGC时代，传统数据治理从数据存储、管理与分析转向了内容创作。大模型驱动下的内容生成，为新时代带来全新机遇的同时，也暴露出诸多风险敞口。蚂蚁数科在AI领域深耕多年，通过构建行之有效的安全防御体系，助力金融、能源等领域的国企、央企单位，更好地应对AI大模型驱动下内容生成场景中的安全挑战。
AI大模型：机遇与挑战并存
随着AI技术的飞速发展，大模型作为其中的核心驱动力，正深刻改变着内容生成的方式。然而，伴随着机遇而来的，是日益严峻的安全挑战。
发展机遇：投资增长与政策支持
近年来，AI大模型领域呈现出蓬勃发展的态势。从投资规模来看，预计2025年，我国在AI领域的投资将达到约500亿元，其中生成式AI场景的投资约为100亿元。到2028年，投资规模预计将扩大至约1000亿元，生成式AI模式的投资将达到300亿元。与此同时，国资委、工信部、科技部等部门通过一系列利好政策，积极推动央国企在各个场景中发展AI。
面临挑战：风险敞口增大
随着AI大模型的发展，风险敞口在不断扩大。据测试表明，AI生成内容（AIGC）的风险比传统用户生成内容（UGC）高出约十倍。在发展过程中，面临着合法合规、数据隐私、安全对抗等诸多风险。
从内容生成的角度来看，大型国央企在落地AI应用时，遇到了内容不可控的挑战。AI生成的内容可能出现非客观事实的回答，推理过程中的潜在风险，导致内容可信度缺失。
在业务合规方面，国央企推动AI发展的过程中，业务合规压力与业务发展需求之间存在矛盾。一方面，国家政策鼓励AI发展，大型投资项目往往以AI牵头；另一方面，AI发展带来了隐私合规、内容颗粒度审核等一系列问题。此外，在围绕场景建设智能体（Agent）的过程中，不同场景对安全的要求不同，这给业务连续性带来了挑战。
大模型安全评测：确保安全上线
测评的重要性
在大模型上线之前，进行全面的评测是确保其安全性的关键环节。评测可以帮助发现大模型潜在的风险，包括合法合规、科技伦理、内容安全、隐私合规等方面的问题，使其在正式投入使用前进行优化和改进，避免因风险问题导致业务无法正常开展。
评测方法与标准
蚂蚁集团与清华大学合作发布蚁鉴AI安全检测平台，是业内首个产业级支持文本、图像等全数据类型的AI安全检测平台，其核心逻辑是通过构建面向互联网的舆情、监管指令、蚂蚁内部案件和开源信息等数据，对齐网信办TC260的测评维度，输出测评报告和风险评估。
在评测标准方面，蚂蚁数科发布了行业领先的测评标准，分为Safety、Reliability和Controllability三个维度——
Safety：主要基于安全性，关注违反社会主义核心价值观、地域歧视、违法违规、反分裂等底线风险
Reliability：注重模型的可靠性和稳定性
Controllability：关注模型的可控性和可管理性
目前，该评测题库拥有百万级规模，完整覆盖《生成式人工智能服务安全基本要求》 内的所有安全风险类目，同时支持文本、图像等数据类型，全面评测大模型的安全性和可靠性。
品牌调性定制化测评
不同行业具有不同的特点和需求，因此需要定制化的测评方案。以某大型能源汽车企业为例，蚂蚁数科根据该企业的需求，生成了相关的测评题目，并在每个维度进行打分，提供测评结果和风险解读。通过这种定制化的测评，企业可以更全面地了解大模型在其特定业务场景下的安全性和可靠性。
大模型安全防御：保障业务平稳运行
防御的必要性
大模型上线后，作为连接用户与业务的关键纽带，其安全性至关重要。随着用户与大模型的交互增多，各种新型风险也随之出现。建立有效的安全防御机制，保障大模型业务的平稳运行，是当前亟待解决的问题。
防御体系架构
针对大模型业务场景中提问、回答的交互模式，蚂蚁数科构建了一套多层防御护栏方案，能够在提问环节对潜在风险做预防，对生成的回答内容进行风险过滤，保障其应用安全，并能面向用户和场景进行动态策略调优。提问护栏-安全代答方面，面向特定的模型输入指令支持检索并返回知识库中的标准回答，场景覆盖3大类风险类型的 40+细分类目标签知识库，涵盖内容安全、数据安全、伦理安全等重点关注风险域，同时保持实时的知识库内容更新。输出护栏方面，大小模型结合实时过滤约90%的风险数据，并基于多源数据进行攻防引擎能力升级，通过Prompt工程提升风险手法的对抗性，同时针对可信标注结果进行管控模式分类，保障风险和体验的平衡。
实践案例
蚂蚁数科的大模型防御体系已经在多个场景中得到了实践应用。例如，为蚂蚁集团AI金融管家提供基于内容安全、数据安全、伦理安全及AIGC真实性的全面评测以及面向提问、模型输出的多层防御护栏。在外部合作方面，为头部新能源汽车企业提供智能客服大模型的安全测评和防御服务，根据企业需求进行定制化防御；为国内某大型金融机构的AI模型升级提供安全防御支持，确保业务的安全开展。
结束语
AI大模型在带来巨大发展机遇的同时，也面临着诸多安全挑战。蚂蚁数科通过建立完善的大模型评测和防御体系，为保障内容生成场景的安全提供了有效的解决方案。未来，随着AI技术的不断发展，将继续探索和创新，不断提升安全防御能力，为AI大模型的健康发展保驾护航。
免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。
抢沙发
