针对长序列视觉指令生成的核心技术难题，项目团队成功研发首个无需训练的长序列视觉指令生成框架LIGER，实现了历史提示和视觉记忆机制，以及基于DDIM反演的记忆校准技术。依托昇腾的编码加速能力，通过对每个步骤的图像特征进行采样和存储，捕捉前序步骤中的关键视觉信息，并将其注入到自注意力机制中，确保步骤间的视觉连贯性。同时，通过自反思机制纠正图像中的属性错误、逻辑错误、对象冗余和身份不一致等问题，使用多种图像编辑工具进行精确修正。该系统在长序列任务中展现出优异的逻辑连贯性和对象属性准确性，显著提升了视觉指令的理解性和实用性。

在计算效率方面，项目团队提出了基于昇腾平台优化的引导式渐进蒸馏方法，通过在线教师引导、渐进式蒸馏和高频细节保护三项关键技术，成功加速了视频扩散模型的生成过程。该方法让教师模型实时优化学生模型的中间预测以创建自适应训练目标，通过多阶段训练逐步增加步长将复杂轨迹学习分解为可管理的任务，并引入频域损失函数保持视频精细细节。在保持视频高质量输出基础上，该方法实现8倍加速。

该项目创新性地将大语言模型推理能力与视频生成技术相结合，为多模态交互研究开辟了新方向。目前，研究成果已成功入选人工智能顶级会议ICLR 2025，获得国际学术界的高度认可。项目构建的包含569个任务的评估数据集，为后续研究提供了重要基准。

未来，浙江大学 鲲鹏昇腾科教创新卓越中心将依托昇腾AI基础软硬件平台，持续深化产学研协同创新，着力突破多模态生成技术的核心瓶颈，构建自主创新、技术领先的多模态生成技术生态体系，并为国家人工智能战略与数字经济发展储备核心创新力量。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。