聚焦真实生产环境腾讯发布业内首个AI安全攻击矩阵

2020-09-25 18:17:33 来源：互联网抢沙发

2020-09-25 18:17:33 来源：互联网

摘要：近年来，人工智能迅猛发展，与家居、金融、交通、医疗等各个领域深度融合，让人们的生活更为便利。但与此同时，基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗，也成为从业者的重要研究课题。
关键词：腾讯云

　　近年来，人工智能迅猛发展，与家居、金融、交通、医疗等各个领域深度融合，让人们的生活更为便利。但与此同时，基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗，也成为从业者的重要研究课题。

　　9月25日，腾讯正式发布业内首个AI安全攻击矩阵。这是一份具有高实用性的AI安全技术指导框架，首次全面梳理了学术及工业界最前沿的AI安全研究，从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段，帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法，为AI系统的安全部署和应用落地提供重要的技术参考。

　　AI安全的威胁风险矩阵

　　据了解，该矩阵由腾讯两大实验室腾讯AI lab和朱雀实验室联合编纂，并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究框架ATT&CK，全面分析了攻击者视角下的战术、技术和流程，能够帮助防御者更精准地掌握安全响应方法与防御措施。相比从单一角度研究算法的安全问题，该矩阵具有更高的实用价值和参考意义。

　　该AI安全的威胁风险矩阵强调真实场景，并按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。据腾讯AI Lab介绍，矩阵编撰的核心难点在于如何选取和梳理AI系统安全问题的分析角度。作为一种与其他软硬件结合运作的应用程序，AI系统安全的分析切入角度与传统互联网产品并不完全一致。经过充分调研，团队最终选择从AI研发部署生命周期的角度切入，总结归纳出AI系统在不同阶段所面临的安全风险，从全局视角来审视AI的自身安全。

　　在这种实用思想的指导下，该矩阵能够像字典一样便捷使用。研究人员和开发人员根据AI部署运营的基本情况，就可对照风险矩阵排查可能存在的安全问题，并根据推荐的防御建议，降低已知的安全风险。

　　除了聚焦机器学习、计算机视觉、语音识别及自然语言处理等四大基础研究领域外，腾讯AI Lab也在持续关注AI领域的安全性研究，助力可信的AI系统设计与部署。腾讯朱雀实验室则专注于实战攻击技术研究和AI安全技术研究，以攻促防，守护腾讯业务及用户安全。此前朱雀实验室就曾模拟实战中的黑客攻击路径，直接控制AI模型的神经元，为模型“植入后门”，在几乎无感的情况下，实现完整的攻击验证，这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。

　　腾讯云副总裁、腾讯安全平台部负责人杨勇表示，随着行业对AI应用的不断深入，在各个层面都会出现更具有实际攻击意义的方法和手段。腾讯将持续研究AI安全领域，并不定期更新风险矩阵，保持和业界最新成果的同步。

　　目前，风险矩阵的完整版本可于腾讯AI Lab官网免费下载。附矩阵全文下载地址：<https://share.weiyun.com/8InYhaYZ>。

第三十八届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

责编：chenjian

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。