买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉宁波数字孪生(东方理工)研究院申请的专利一种面向多模态大语言模型的分层视觉Token压缩方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121350590B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511902183.0，技术领域涉及：G06F18/213；该发明授权一种面向多模态大语言模型的分层视觉Token压缩方法是由沈晓宇;吴浩设计研发完成，并于2025-12-17向国家知识产权局提交的专利申请。

本一种面向多模态大语言模型的分层视觉Token压缩方法在说明书摘要公布了：本发明涉及一种面向多模态大语言模型的分层视觉Token压缩方法，包括：获取图像和待压缩的多模态大语言模型；基于架构及权重，计算基于视觉信息的模态内交互和跨模态交互，以划分浅层、中层、深层范围；基于图像提取出视觉Token，根据文本指令提取出文本Token；在浅层范围内，仅文本Token参与处理；在中层范围内，基于所述视觉Token和浅层范围内处理的文本Token，采用凹金字塔式剪枝方法去掉冗余视觉Token；在深层范围内，将剩余视觉Token全部去除，仅保留文本Token进行推理，完成视觉Token压缩过程。与现有技术相比，本发明具有高效的视觉Token压缩等优点。

本发明授权一种面向多模态大语言模型的分层视觉Token压缩方法在权利要求书中公布了：1.一种面向多模态大语言模型的分层视觉Token压缩方法，其特征在于，包括以下： 获取图像和待压缩的多模态大语言模型； 基于所述模态大语言模型的架构及权重，计算基于视觉信息的模态内交互和跨模态交互，以将所述多模态大语言模型划分浅层、中层、深层范围； 基于所述图像提取出视觉Token，根据文本指令提取出文本Token，所述视觉Token和文本Token拼接为多模态序列； 在浅层范围内，仅所述文本Token参与处理，所述视觉Token不参与任何处理； 在中层范围内，基于所述视觉Token和文本Token，采用凹金字塔式剪枝方法去掉冗余视觉Token，所述去掉冗余视觉Token的步骤包括： 在所述中层范围内，计算其各层的Head-wise注意力分布； 选取每层Head-wise注意力分布最高的前个视觉Token，构成集合，其中表示第层； 对于所述集合中的每一个视觉Token，计算第层与后续第层的Head-wise注意力分布之间的余弦相似度，并将集合中所有视觉Token计算出的余弦相似度进行加和、求平均，得到第层与后续第层之间的层间视觉注意力相似度，所述第层与后续第层之间的层间视觉注意力相似度的计算表达式为： ， 式中，为层间视觉注意力相似度，为层次中Top-K个视觉Token，、分别为第层与后续第层的Top-个视觉Token的Head-wise注意力分布； 基于所述层间视觉注意力相似度选择多个强过滤能力的剪枝层； 在选择的每个剪枝层上，计算最后一个文本Token与所有视觉Token之间的交叉注意力值，表征视觉Token的重要性分数，选取重要的前个视觉Token，完成去掉冗余视觉Token的过程，所述选取重要的前K个视觉Token的步骤包括： 对于每个剪枝层中N个视觉Token的重要性分数，对每个视觉Token的重要性分数进行归一化，计算其相对秩次，其中所述相对秩次的计算表达式为： 式中，为相对秩次，为视觉Token的数量，分别为第、个视觉Token对应的重要性分数； 基于所述相对秩次，在训练阶段，采用带可调温度系数的Sigmoid函数生成连续掩码，并基于所述连续掩码完成端到端的优化； 在推理阶段，对所述连续掩码施加硬阈值： ， 式中，为硬掩码，为硬阈值； 仅保留的视觉Token，得到所述重要的前K个视觉Token； 所述连续掩码表示为： ， 式中，为连续掩码，为相对秩次，为可学习的剪枝阈值，为可调温度系数，用于控制函数陡峭程度； 在深层范围内，将剩余视觉Token全部去除，仅保留文本Token进行推理，完成视觉Token压缩过程。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人宁波数字孪生(东方理工)研究院，其通讯地址为：315201 浙江省宁波市镇海区庄市街道同心路568号开元新青年广场3号楼6楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。