恭喜北京交通大学王东获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜北京交通大学申请的专利一种多位宽量化的深度卷积神经网络的获取方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113762489B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110923119.6,技术领域涉及:G06N3/045;该发明授权一种多位宽量化的深度卷积神经网络的获取方法是由王东;李浥东;许柯;冯乾泰设计研发完成,并于2021-08-12向国家知识产权局提交的专利申请。
本一种多位宽量化的深度卷积神经网络的获取方法在说明书摘要公布了:本发明提供了一种多位宽量化的深度卷积神经网络的获取方法。该方法包括:建立权重共享的多位宽感知量化模型,对多位宽感知量化模型进行多位宽感知的量化超网训练,根据需求设置目标约束,根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索,得到满足约束的子网络,利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络。本发明实施例通过最小‑随机‑最大位宽协同训练以及自适应标签软化解决不同比特子网下竞争训练的问题,实现不同平均比特位宽约束下更高的模型精度。
本发明授权一种多位宽量化的深度卷积神经网络的获取方法在权利要求书中公布了:1.一种多位宽量化的深度卷积神经网络的获取方法,其特征在于,包括: 建立权重共享的多位宽感知量化模型; 对所述多位宽感知量化模型进行多位宽感知的量化超网训练; 根据需求设置目标约束,根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索,得到满足约束的子网络,利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络;所述的建立权重共享的多位宽感知量化模型,包括: 建立权重共享的多位宽感知量化模型,该多位宽感知量化模型是一个多层结构的超网络,多位宽感知量化模型的子网络包括最低比特位宽模型、最高比特位宽模型和随机比特位宽模型,对所述多位宽感知量化模型中的多种子网络同时进行量化并训练; 设多位宽感知量化模型的量化配置表示成 分别表示层l的权重和激活的位宽,给定一个浮点的权重w、激活b,可学习的量化步长集合 和zero-point集合则多位宽感知量化模型训练的目标函数表示为: Q·表示量化函数; 所述的对所述多位宽感知量化模型进行多位宽感知的量化超网训练,包括: 采用最小-随机-最大位宽协同训练方式在每一次训练迭代中,对多位宽感知量化模型中的最低比特位宽模型、最高比特位宽模型和M个随机比特位宽模型,共计M+2个种子网络同时进行优化,训练目标为公式1所示的目标函数,M+2种不同的模型由公式1中不同的进行表示; 自适应标签软化,给定一个数据集包含N个类别,xi表示输入图像,yi表示对应的真实标签,定义作为每一轮的类级别的软标签,Ae是一个N行N列的方阵,Ae中的每一列对应着一个类别的软标签,当一个输入样本xi,yi被任意的量化模型正确判断,构造{pLxi,pRxi,pHxi}去更新Ae中的yi列,M表示随机子网的数量,n表示预测值,pLxi,pRxi,pHxi三者都是描述同一个对象,被如下描述: 则AdaptiveSoftLabelLoss表示为: 表示e轮时矩阵A在坐标n,yi的值,平衡系数ζ设置成0.5; pLxi,pRxi,pHxi分别是最低比特位宽模型、随机比特位宽模型以及最高比特位宽模型的logit输出; 每一轮迭代iteration下都做一次公式3的更新,在每一个轮次epoch结束后对Ae进行归一化,在下一个轮次epoch时的公式4中使用,直到多位宽感知量化模型收敛为止或者达到设定的训练次数,则所述多位宽感知量化模型的训练过程结束; 所述的根据需求设置目标约束,根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索,得到满足约束的子网络,利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络,包括: 将训练完成后的多位宽感知量化模型看作一个包含很多个子网络的模型池,根据需要的多位宽量化的深度卷积神经网络设置目标约束,该目标约束包括平均比特约束,根据目标约束采用蒙特卡洛采样、量化感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜索,搜索出满足约束的子网络; 根据满足约束的目标子网络组成需要的多位宽量化的深度卷积神经网络,各个目标子网络分别单独作为多位宽量化的深度卷积神经网络中的独立单元。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京交通大学,其通讯地址为:100044 北京市海淀区西直门外上园村3号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。