买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉宁波东方理工大学(暂名)申请的专利一种跨模态信息处理的推理加速装置和方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120197713B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510680375.5，技术领域涉及：G06N5/04；该发明授权一种跨模态信息处理的推理加速装置和方法是由沈晓宇;范英琪;张伟;赵桉颢;张辛铭;王项辉设计研发完成，并于2025-05-26向国家知识产权局提交的专利申请。

本一种跨模态信息处理的推理加速装置和方法在说明书摘要公布了：本发明涉及一种跨模态信息处理的推理加速装置和方法，通过设置转换装置以将用户的多模态指令进行视觉编码和投影以转化为多模态指令的编码格式，中央处理器则基于这个编码格式执行多模态大语言模型算法以获得多模态指令的答案编码，所获答案编码则被所设置的合成装置转换后输出。在此基础上，通过设置加速装置以根据多模态大语言模型算法中每个运算层输入令牌的隐式表达类别从多模态大语言模型算法的所有运算层中解耦出任务识别层、稀疏融合层和语义对齐层，然后按预定比减少任务识别层的跨模态信息交互运算、输入稀疏融合层的冗余视觉令牌和输入语义对齐层的视觉令牌，缩小推理延迟时间，缓解模型占用速率。

本发明授权一种跨模态信息处理的推理加速装置和方法在权利要求书中公布了：1.一种跨模态信息处理的推理加速装置，其特征在于，包括： 转换装置，被设置为将用户的多模态指令进行视觉编码和投影以转化为多模态指令的编码格式；所述多模态指令包括提示文本、文本指令和与所述文本指令捆绑的关联图像； 中央处理器，与所述转换装置电连接，被设置为执行多模态大语言模型算法以获得多模态指令的答案编码； 合成装置，与所述中央处理器电连接，被设置为将所述中央处理器所获答案编码转换为文字和或音频并给予输出； 加速装置，与所述中央处理器电连接，被设置为根据所述多模态大语言模型算法中每个运算层的输入令牌的隐式表达类别，从所述多模态大语言模型算法的所有运算层中解耦出任务识别层、稀疏融合层和语义对齐层，然后按预定比减少所述任务识别层的跨模态信息交互运算、输入所述稀疏融合层的冗余视觉令牌和输入所述语义对齐层的视觉令牌，以加速运行所述多模态大语言模型算法； 其中，所述转换装置包括： 图像编码模块，与所述中央处理器电连接，被设置为对所述关联图像进行视觉编码和投影以转化为与所述多模态大语言模型算法的输入适配的图像编码格式； 分词器，与所述中央处理器电连接，被设置为对所述文本指令和所述提示文本依次进行文本分割和编码映射，以转化为与所述多模态大语言模型算法的输入适配的文本编码格式； 此外，根据所述多模态大语言模型算法中每个运算层的输入令牌的隐式表达类别，从所述多模态大语言模型算法的所有运算层中解耦出任务识别层、稀疏融合层和语义对齐层的过程包括如下步骤； A1：从所述多模态大语言模型算法中首个运算层开始，基于任务识别判定标准依次对每个运算层的输入令牌的隐式表达进行类别判定，以提取所述多模态大语言模型算法的所有所述任务识别层； A2：基于稀疏融合判定标准依次对所述多模态大语言模型算法中当前剩余的每个运算层的输入令牌的隐式表达进行类别判定，以提取所述多模态大语言模型算法的所有所述稀疏融合层； A3：基于语义对齐判定标准依次对所述多模态大语言模型算法中此时剩余的每个运算层的输入令牌的隐式表达进行类别判定，以提取所述多模态大语言模型算法的所有所述语义对齐层； 所述步骤A1包括如下步骤： A11：按所述多模态大语言模型算法的运行顺序，将所述多模态大语言模型算法中首个运算层作为当前层； A12：通过S型激活函数以将当前层的最后一个输入令牌的隐式表达投影到语义空间，获得语义表达；  A13：根据所述语义表达判断当前层是否为对用户输入的文字指令进行任务总结，若是，则执行下一步； 若否，则执行步骤A16； A14：将当前层的多个输入令牌的隐式表达依次进行视觉注意力合并和注意力掩码提取，获得注意力掩码； A15：根据所述注意力掩码判断是否发生跨模态信息融合，若是，则执行下一步； 若否，则将所述多模态大语言模型算法中下一个运算层作为当前层，然后回转执行所述步骤A12； A16：按所述多模态大语言模型算法的运行顺序，将所述多模态大语言模型算法中首个运算层至当前层的所有运算层作为所述任务识别层，并生成减少所述任务识别层的跨模态信息交互运算的定比； 所述步骤A2包括如下步骤： A21：按所述多模态大语言模型算法的运行顺序，将所述多模态大语言模型算法中最后一个所述任务识别层的下一个运算层作为当前判断层； A22：分别对当前判断层的各输入令牌的隐式表达进行注意力掩码操作以提取各自的注意力掩码；  A23：通过余弦相似度计算式分别计算各输入令牌的隐式表达与注意力掩码的余弦相似度，获得各自的余弦相似度；  A24：通过距离计算式分别计算各输入令牌的隐式表达与注意力掩码的距离，获得各自的掩码距离； A25：提取余弦相似度大于第一阈值且掩码距离小于第二阈值的所有输入令牌的隐式表达，记录以这些输入令牌的隐式表达作为输入的当前判断层中所有输入单元的编号，以将这些输入单元此后接收的所有输入令牌的隐式表达作为当前判断层的冗余视觉令牌； A26：通过特征函数以对当前判断层的所有输入令牌的隐式表达进行映射，以令对应于所述图像编码格式的输入令牌的隐式表达为零，其余则保持不变，获得特征映射结果； A27：以所述特征映射结果作为当前判断层的输入，判断所述多模态大语言模型算法的模型性能下降程度是否不小于指定值，若是，则执行下一步； 若否，则将下一个运算层作为当前判断层，然后回转执行所述步骤A22； A28：将所述多模态大语言模型算法中最后一个所述任务识别层的下一个运算层至当前判断层的所有运算层作为所述稀疏融合层，并生成减少输入所述稀疏融合层的冗余视觉令牌的定比； 所述步骤A3包括如下步骤： A31：按所述多模态大语言模型算法的运行顺序，将所述多模态大语言模型算法中最后一个所述稀疏融合层的下一个运算层作为当前检测层； A32：通过S型激活函数以将当前检测层的最后一个输入令牌的隐式表达投影到语义空间，获得投影表达； A33：根据所述投影表达判断当前检测层是否为执行输入与输出令牌的语义对齐，若是，则将所述多模态大语言模型算法中下一个运算层作为当前检测层，然后回转执行所述步骤A32； 若否，则执行下一步； A34：按所述多模态大语言模型算法的运行顺序，将所述多模态大语言模型算法中最后一个所述稀疏融合层的下一个运算层至当前检测层的所有运算层作为所述语义对齐层，并生成减少输入所述语义对齐层的视觉令牌的定比。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人宁波东方理工大学(暂名)，其通讯地址为：315200 浙江省宁波市镇海区庄市街道同心路568号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。