买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利基于生命周期预测的视觉Transformer模型加速算法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116681106B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310317221.0，技术领域涉及：G06N3/045；该发明授权基于生命周期预测的视觉Transformer模型加速算法是由冯尊磊;陈佳伟;陈琳;宋明黎设计研发完成，并于2023-03-29向国家知识产权局提交的专利申请。

本基于生命周期预测的视觉Transformer模型加速算法在说明书摘要公布了：本发明公开了基于生命周期预测的视觉Transformer模型加速算法，包括：1使Transformer模型进行前半部分的正向传播；2光滑化生命周期函数并构建视觉Transformer权重转换模块；3构建视觉Transformer权重转换模块；4模型推理；5训练模型。本发明使用生命周期预测模块为视觉Transformer模型的每个输入的图片块预测生命周期。在进行模型推理时，本发明依据预测出的生命周期适时丢弃图片块，从而减少不必要的推理计算，实现模型的推理加速的效果。在模型训练时，本发明通过权重转换模块，将不可微分的图片块生命周期转化为可微的权重函数，实现方便的模型端到端训练。

本发明授权基于生命周期预测的视觉Transformer模型加速算法在权利要求书中公布了：1.一种基于生命周期预测的视觉Transformer模型加速算法，包括如下步骤： 1使Transformer模型进行前半部分的正向传播； 11将输入图片划分为张相同大小的图片块，并使用线性映射将图片块映射为最开始的图片块特征向量； 12使用位置嵌入向量与图片块特征向量相加得到位置嵌入后的图片块特征向量； 13对进行LayerNorm正则化，并将正则化之后的特征向量送入多头自注意力模块： 其中是键特征和查询特征的点乘结果； 14将特征通过多头自注意力模块后，使用跳层连接方法，将LayerNorm的输入特征向量与多头自注意力模块的输出特征向量相加； 2光滑化生命周期函数并构建视觉Transformer权重转换模块，其步骤如下： 21为视觉Transformer的每个输入图片块特征进行LayerNorm正规化得到： 其中为图片块的索引，为CLS标识块的索引，为包含所有普通图片块的索引集合，表示图片块特征，为生命周期预测模块的插入层索引，表示第层的所有图片块特征； 22使用一个带可训练权重的双线性函数得到每个图片块的全局重要性分数，并把这一全局重要性分数作为图片块特征和标识之间的相似度： 23计算全局重要性分数的均值与方差，并对全局重要性分数进行再标准化得到图片块的生命周期： 3构建视觉Transformer权重转换模块，步骤如下： 31定义用于表示第个图片块在第层是否被丢弃的指示函数为，其中为单位阶跃函数； 32将插入视觉Transformer的每一层自注意力模块： 其中为第个图片块和第个图片块之间的查询-键内积结果，exp为指数函数，为总图片块数目； 33使用仿射变换后的Sigmoid函数拟合，其中是调节Sigmoid函数曲线陡峭程度的参数： 34在自注意力模块中，将替换为： 4模型推理； 41对于不同的输入图片固定视觉Transformer不同层，丢弃固定数目的图片块，并且保证对于，有；这里表示模型的总层数； 42计算生命周期预测模块中的目标均值和目标方差： 43为模型的每一层设置相同的图片块保留率，使得所有的层索引，都满足以及； 44在视觉Transformer的每一层中，通过对所有图片块的生命周期进行排序，丢弃那些生命周期小的图片块，并人为将[CLS]图片块的生命周期设置为无穷大； 5训练模型； 51加载预训练的模型权重至视觉Transformer骨干网络，并对生命周期预测模块与权重转换模块进行随机初始化； 52冻结视觉Transformer骨干网络的模型参数，训练剩余模块直至模型收敛； 53解冻视觉Transformer骨干网络的模型参数，并冻结剩余模块训练直至收敛。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。