买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院计算技术研究所申请的专利基于细粒度结构化稀疏的在线训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114429206B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111666701.5，技术领域涉及：G06N3/0495；该发明授权基于细粒度结构化稀疏的在线训练方法及系统是由张蕊;朱时兵;王伟卓;张曦珊设计研发完成，并于2021-12-31向国家知识产权局提交的专利申请。

本基于细粒度结构化稀疏的在线训练方法及系统在说明书摘要公布了：本发明提出一种基于细粒度结构化稀疏的在线训练方法和系统，包括：基于预设学习率和权重梯度，训练稠密模型；对该稠密模型的权重进行细粒度结构化稀疏，得到稀疏掩码，并基于该稀疏掩码训练稀疏模型，且在训练该稀疏模型的过程中更新该稀疏掩码和该稀疏模型的模型权重；固定该稀疏模型的网络结构再次训练该稀疏模型，且在再次训练该稀疏模型过程中仅更新该稀疏模型的模型权重，保存完成经过再次训练的稀疏模型的模型权重和稀疏掩码作为在线训练结果。稀疏模型比稠密模型的规模小，比稠密模型的通道数也小。在部署模型时采用稀疏模型，由于稀疏模型规模小，可以有效减少计算量，达到加速模型运行速度的技术效果。

本发明授权基于细粒度结构化稀疏的在线训练方法及系统在权利要求书中公布了：1.一种基于细粒度结构化稀疏的在线训练方法，其特征在于，包括： 步骤1、基于预设学习率和权重梯度，训练稠密模型； 步骤2、对该稠密模型的权重进行细粒度结构化稀疏，得到稀疏掩码，并基于该稀疏掩码训练稀疏模型，且在训练该稀疏模型的过程中更新该稀疏掩码和该稀疏模型的模型权重； 步骤3、固定该稀疏模型的网络结构再次训练该稀疏模型，且在再次训练该稀疏模型过程中仅更新该稀疏模型的模型权重，保存完成经过再次训练的稀疏模型的模型权重和稀疏掩码作为在线训练结果； 该步骤2包括： 步骤21、获取该稠密模型的权重Wdense和学习率l； 步骤22、对于Wdense，使用多种预设模板分别计算每组尺寸为4x4的权重在每种模板下权重绝对值的累加和，其中该预设模板每行每列都满足有两个0和两个1，1代表保留的位置，0代表不保留的位置；取所有预设模板中累加和最大的模板作为该组权重的稀疏掩码m，并得到稀疏权重Wunpruned＝Wdense⊙m，其中⊙表示逐元素相乘，权重中被稀疏掉的部分记录为Wpruned＝0； 步骤23、利用稀疏权重Wunpruned执行网络的前向传播，前向传播公式为： xi+1＝xi*Wunpruned 式中xi为网络中第i层的输入； 步骤24、该网络执行反向传播，利用网络中第i+1层传播来的topdiff，记为计算第i层的bottomdiff，记为和权重的梯度公式为： 步骤25、根据权重的梯度和当前的稀疏掩码更新稀疏权重Wunpruned和权重中被稀疏掉的部分Wpruned，公式为： 判断此时是否为一个epoch的结束，若是，则执行步骤26，否则再次执行该步骤23； 步骤26、利用稀疏权重Wunpruned和权重中被稀疏掉的部分Wpruned对稀疏掩码进行更新，首先将Wunpruned和Wpruned相加得到Wdense，然后使用所有预设模板，分别计算Wdense中每组权重在每种预设模板下权重绝对值的累加和，取所有预设模板中累加和最大的模板作为该组权重的稀疏掩码，由此获得更新后的稀疏掩码m； 步骤27、利用稀疏掩码m更新Wunpruned和Wpruned，公式为 Wunpruned＝Wdense⊙m Wpruned＝0 判断此时是否达到设定迭代次数，若是，则执行步骤3，否则再次该步骤23； 该步骤3包括通过下式固定稀疏掩码，更新稀疏模型权重： 其中步骤1中该稠密模型为用于图像分类的卷积神经网络；该步骤3包括基于在线训练结果构建稀疏图像分类网络，以对待分类图像进行分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院计算技术研究所，其通讯地址为：100080 北京市海淀区中关村科学院南路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。