买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海智辰微技术有限公司申请的专利神经网络稀疏方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120068943B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510133297.7，技术领域涉及：G06N3/0455；该发明授权神经网络稀疏方法、系统、设备及介质是由胡鹏;王孝斌设计研发完成，并于2025-02-06向国家知识产权局提交的专利申请。

本神经网络稀疏方法、系统、设备及介质在说明书摘要公布了：一种神经网络稀疏方法，通过获取每个Transformer层中注意力模块及多层感知模块的输入输出相似度；根据模型目标稀疏度、模块预设配额比例以及每个Transformer层中注意力模块及多层感知模块的输入输出相似度，获取每个Transformer层中注意力模块及多层感知模块的模块目标稀疏度；根据每个Transformer层中注意力模块和多层感知模块的模块目标稀疏度，生成每个Transformer层中注意力模块和多层感知模块的每个权重矩阵的全局裁剪模板；根据相应的全局裁剪模板，对每个Transformer层中注意力模块和多层感知模块的权重矩阵进行权重裁剪和重构。通过一次权重剪枝将大语言模型压缩至高稀疏状态，无需重新训练，也能保持优异的性能，与sparseGPT方法相比，在高稀疏度的基准测试性能的准确度表现更优异。

本发明授权神经网络稀疏方法、系统、设备及介质在权利要求书中公布了：1.一种神经网络稀疏方法，其特征在于，所述神经网络为文本生成、机器翻译、问答系统、文本摘要、情感分析领域的训练后的大语言模型，包括若干堆叠的Transformer层，每个Transformer层包括注意力模块和多层感知模块； 所述方法包括： 向所述神经网络中注入校准数据，以获取每个所述Transformer层中所述注意力模块及所述多层感知模块的输入特征数据和输出特征数据，其中，所述校准数据包括自然语言数据集； 根据每个所述Transformer层中所述注意力模块及所述多层感知模块的输入特征数据和输出特征数据，获取每个所述Transformer层中所述注意力模块及所述多层感知模块的输入输出相似度； 根据模型目标稀疏度、模块预设配额比例以及每个所述Transformer层中所述注意力模块及所述多层感知模块的输入输出相似度，获取每个所述Transformer层中所述注意力模块及所述多层感知模块的模块目标稀疏度； 根据每个所述Transformer层中所述注意力模块和所述多层感知模块的模块目标稀疏度，生成每个所述Transformer层中所述注意力模块和所述多层感知模块的每个权重矩阵的全局裁剪模板； 根据每个所述Transformer层中所述注意力模块和所述多层感知模块的每个权重矩阵的全局裁剪模板，对每个所述Transformer层中所述注意力模块和所述多层感知模块的权重矩阵进行权重裁剪和重构，以获取便于部署的轻量化大预言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海智辰微技术有限公司，其通讯地址为：201203 上海市浦东新区中国(上海)自由贸易试验区郭守敬路498号8幢19号楼3层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。