买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京深势科技有限公司申请的专利一种对预训练大模型进行参数编辑的处理方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120255930B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510332991.1，技术领域涉及：G06F8/65；该发明授权一种对预训练大模型进行参数编辑的处理方法和装置是由李思杭;王泽辉;高志锋;蔡恒兴;张林峰设计研发完成，并于2025-03-20向国家知识产权局提交的专利申请。

本一种对预训练大模型进行参数编辑的处理方法和装置在说明书摘要公布了：本发明实施例涉及一种对预训练大模型进行参数编辑的处理方法和装置，所述方法包括：将需要进行参数编辑的预训练大模型记为目标模型；为目标模型的各线性层配置一个权重参数编辑模型记为编辑器gi；接收用户输入的输入‑输出变换数据集记为数据集Dset；从数据集Dset中任选一组变换数据作为基础样本，并为基础样本设置指定数量个相关样本和一个不相关样本，并由所有样本组成训练数据集Dtr；并基于训练数据集Dtr、目标模型对所有编辑器gi进行训练；在所有编辑器的训练结束后，基于数据集Dset和所有编辑器gi对目标模型的所有权重参数wi进行参数编辑。本发明可以提高模型参数的更新灵活度和更新效率并降低更新成本。

本发明授权一种对预训练大模型进行参数编辑的处理方法和装置在权利要求书中公布了：1.一种对预训练大模型进行参数编辑的处理方法，其特征在于，所述方法包括： 将需要进行参数编辑的预训练大模型记为目标模型；所述目标模型包含Nw层线性层，Nw为大于1的正整数；所述目标模型的整体模型参数记为θ，各线性层的权重参数、偏置参数记为wi、bi，1≤层索引i≤Nw，wi、bi∈θ；在所述目标模型的正向预测处理过程中各线性层的输入向量记为ui、模型损失L对各线性层输出向量的梯度记为δi+1、所述模型损失L对各权重参数wi的梯度记为所述模型损失L默认以负对数似然损失函数LNLL为损失函数，L＝LNLLθ,y|x＝-logPθy|x,x为模型输入、y为模型输出、Pθy|x为所述目标模型在模型参数为所述整体模型参数θ且模型输入为x的情况下其模型输出为y的概率； 为所述目标模型的各线性层配置一个权重参数编辑模型记为编辑器gi；所有所述编辑器gi的模型结构一致都基于两层非线性网络实现，各层非线性网络都由全连接层、激活层和残差连接模块组成；所有所述编辑器gi都用于通过两层非线性网络对当前编辑器输入的向量ui、梯度δi+1进行微调并输出调整后的向量unew,i、梯度δnew,i+1； 接收用户输入的输入-输出变换数据集记为数据集Dset；所述数据集Dset包括ND组变换数据ND为一个可配置的正整数、最小可设为1；1≤数据索引j≤ND，xj为模型输入，为输入xj对应的最新输出标签； 从所述数据集Dset中任选一组变换数据作为基础样本；并为所述基础样本设置指定数量NK个等价样本和一个不相关样本，并由所述基础样本、NK个所述等价样本和所述不相关样本组成训练数据集Dtr；并基于所述训练数据集Dtr、所述目标模型对所有所述编辑器gi进行训练；所述指定数量NK为一个预设的正整数，默认小于10；所述基础样本记为所述等价样本记为xk,yk、1≤样本索引k≤NK，所述不相关样本记为xun,yun；各个所述等价样本的输入xk均与所述基础样本的输入xs相关、输出标签yk均与所述基础样本的输出标签相关；所述不相关样本的输入xun与所述基础样本的输入xs无关、输出标签yun也与所述基础样本的输出标签无关； 在所有编辑器的训练结束后，基于所述数据集Dset和所有所述编辑器gi对所述目标模型的所有所述权重参数wi进行参数编辑。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京深势科技有限公司，其通讯地址为：100089 北京市海淀区海淀大街3号1幢11层1101；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。