买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利基于数据驱动正则的问答大语言模型的问答方法及产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120336497B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510828333.1，技术领域涉及：G06F16/3329；该发明授权基于数据驱动正则的问答大语言模型的问答方法及产品是由陶建华;冯明宽;张帅;武锦阳设计研发完成，并于2025-06-20向国家知识产权局提交的专利申请。

本基于数据驱动正则的问答大语言模型的问答方法及产品在说明书摘要公布了：本申请涉及人工智能技术领域，公开了一种基于数据驱动正则的问答大语言模型的问答方法及产品。该方法包括：获取待部署目标问答大语言模型的目标设备的设备参数值，确定预训练的原始问答大语言模型的需要剪枝的通道；基于问答样本数据，利用带有正则损失项的损失函数对预训练的原始问答大语言模型进行模型参数更新；按照需要剪枝的通道对经过模型参数更新后的问答大语言模型进行通道剪枝，基于经过通道剪枝后的问答大语言模型得到目标问答大语言模型；针对来自于目标设备的问题，通过目标问答大语言模型进行推理，得到答案。采用本方法能够在减少大语言模型的规模的同时保持模型性能，便于将大语言模型部署到轻量级设备。

本发明授权基于数据驱动正则的问答大语言模型的问答方法及产品在权利要求书中公布了：1.一种基于数据驱动正则的问答大语言模型的问答方法，其特征在于，所述方法包括： 获取待部署目标问答大语言模型的目标设备的设备参数值，所述设备参数值包括以下至少一者：存储空间大小、运算速度； 根据所述设备参数值，确定预训练的原始问答大语言模型的需要剪枝的通道，所述预训练的原始问答大语言模型用于对来自于客户端的问题进行推理，得到答案； 基于问答样本数据，利用带有正则损失项的损失函数对所述预训练的原始问答大语言模型进行模型参数更新，所述正则损失项是根据所述需要剪枝的通道的参数矩阵确定的；所述损失函数包括所述原始问答大语言模型中每一层的正则损失，具体如下： ； 其中，为模型的语言建模损失，用于衡量模型的预测答案与真实答案之间的差异；为模型第i层的注意力机制模块正则化损失；为模型第i层的前向传播网络的正则化损失；为模型中除剪枝部分之外的剩余部分的正则化损失；为模型的层数； 其中，模型第层的注意力机制模块正则化损失为： ； 其中R表示伪索引选择矩阵，在剪枝比率为p%的情况下，R中对角线上有p%的元素为1，1-p%的元素为0；代表表示对矩阵按列应用的某种向量范数，、、、分别为第i层中的查询矩阵、关键矩阵、值矩阵、输出矩阵； 模型第i层的FFN前向传播网络的正则化损失的表达式如下： ； 其中，分别为第层中的上投影矩阵和下投影矩阵； 模型中除剪枝部分之外的剩余部分的正则化损失的表达式如下： 其中，代表数据特征矩阵，代表位置编码矩阵，代表第层规范化向量，代表语言建模矩阵； 按照所述需要剪枝的通道，对经过模型参数更新后的问答大语言模型进行通道剪枝，基于经过通道剪枝后的问答大语言模型，得到所述目标问答大语言模型；其中，按照所述需要剪枝的通道，对经过模型参数更新后的问答大语言模型进行通道剪枝，包括：根据所述伪索引选择矩阵R和单位矩阵I，构建通道剪枝矩阵S，S=I-R；根据经过模型参数更新后的问答大语言模型的参数矩阵和所述通道剪枝矩阵S，得到经过通道剪枝后的问答大语言模型的参数矩阵； 针对来自于所述目标设备的问题，通过所述目标问答大语言模型进行推理，得到答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区双清路30号清华大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。