买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华为技术有限公司申请的专利神经网络的梯度稀疏方法和梯度稀疏装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114611656B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202011425588.7，技术领域涉及：G06N3/0495；该发明授权神经网络的梯度稀疏方法和梯度稀疏装置是由李标智;黄炜平;徐斌设计研发完成，并于2020-12-08向国家知识产权局提交的专利申请。

本神经网络的梯度稀疏方法和梯度稀疏装置在说明书摘要公布了：本申请提供人工智能领域中神经网络的梯度稀疏方法和相关装置。本申请提出了利用数据运算方法计算得到稀疏阈值，或者对实际稀疏度与预设稀疏度进行比较并基于比较结果来更新稀疏阈值，避免了使用排序操作来确定稀疏阈值，大大降低运算量，最终可以提高神经网络的训练效率。进一步地，本申请提出了每隔m轮迭代才更新一次稀疏阈值，从而每m轮迭代训练可以节省m‑1轮的稀疏阈值更新时间，进而可以提高神经网络的训练效率，m为大于1的整数。更进一步地，本申请还提出了稀疏阈值更新和梯度稀疏处理可以并行处理，从而可以提高神经网络的训练效率。

本发明授权神经网络的梯度稀疏方法和梯度稀疏装置在权利要求书中公布了：1.一种神经网络的梯度稀疏方法，其特征在于，所述梯度稀疏方法应用于人工智能技术领域中的分布式训练系统中，所述分布式训练系统用于对所述神经网络进行N轮迭代训练，所述分布式训练系统中包括M个训练装置，所述M个训练装置中的每个训练装置中部署有所述神经网络，所述训练装置包括：矩阵计算单元、阈值更新模块、向量计算单元、存储器、稀疏模块和通讯接口；N和M为大于1的正整数，所述方法包括： 在所述N轮迭代训练中的第i轮迭代训练中： 第一训练装置的矩阵计算单元计算所述第i轮迭代的当前梯度集合；所述第一训练装置为所述M个训练装置中任意一个训练装置； 所述第一训练装置的向量计算单元根据所述当前梯度集合的当前梯度均值、当前梯度标准差、及从所述第一训练装置的存储器中读取出的历史梯度均值、历史梯度标准差和稀疏阈值计算得到新稀疏阈值，并将所述存储器中的稀疏阈值更新为所述新稀疏阈值；其中，当前梯度为当前梯度集合中的梯度，历史梯度为历史梯度集合中的梯度； 或者，所述第一训练装置的阈值更新模块根据所述当前梯度集合中目标梯度的比例和阈值之间的大小关系更新所述存储器中的稀疏阈值，所述目标梯度的比例为所述当前梯度集合中小于或等于所述存储器中更新前的稀疏阈值的梯度的总数与所述当前梯度集合中梯度的总数的比例； 其中，所述当前梯度集合中包含所述第一训练装置的矩阵计算单元在所述第i轮迭代训练中为所述神经网络计算的参数梯度，i为小于N的正整数； 在所述第i轮迭代训练中，所述第一训练装置的稀疏模块从所述第一训练装置的存储器中读取稀疏阈值，并对所述矩阵计算单元计算出的当前梯度集合中的梯度进行稀疏处理，得到稀疏梯度； 所述第一训练装置的通讯接口将所述稀疏梯度发送给所述M个训练装置中的其它训练装置，以及通过所述通讯接口接收来自所述其它训练装置的稀疏梯度； 其中，所述第一训练装置的向量计算单元或阈值更新模块在所述第i轮迭代训练中根据所述当前梯度集合更新所述存储器中稀疏阈值的过程，与所述第一训练装置的稀疏模块在所述第i轮迭代训练中使用所述存储器中的稀疏阈值对所述当前梯度集合中的梯度进行稀疏处理的过程，并行执行。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华为技术有限公司，其通讯地址为：518129 广东省深圳市龙岗区坂田华为总部办公楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。