买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉人民网股份有限公司申请的专利大语言模型价值对齐方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119829946B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411903284.5，技术领域涉及：G06F18/20；该发明授权大语言模型价值对齐方法及装置是由刘毅;郭俊波;李君;祝铭烨;张勇东设计研发完成，并于2024-12-23向国家知识产权局提交的专利申请。

本大语言模型价值对齐方法及装置在说明书摘要公布了：本申请实施例公开了一种大语言模型价值对齐方法，包括：获取多个问题查询文本及对应的候选答案池；确定候选答案池中各候选答案的奖励得分，生成训练样本数据集；确定各候选答案的回答概率，根据多个候选答案的回答概率及奖励得分计算各问题查询文本的第一奖励期望，根据所有第一奖励期望计算所有问题查询文本的第二奖励期望；根据第二奖励期望及训练样本数据集对大语言模型进行价值对齐调整以对模型参数进行调整，判断是否满足预定收敛条件；若否，则根据调整后的大语言模型生成各问题查询文本的多个新的候选答案，根据多个新的候选答案对候选答案池进行更新，跳转执行确定奖励得分；若是，则生成目标大语言模型，提升了模型价值对齐能力。

本发明授权大语言模型价值对齐方法及装置在权利要求书中公布了：1.一种大语言模型价值对齐方法，包括： S1，获取多个问题查询文本及每个问题查询文本对应的候选答案池，其中，所述候选答案池包含：多个候选答案； S2，确定每个问题查询文本对应的候选答案池中的每个候选答案对应的奖励得分，多个问题查询文本、多个问题查询文本对应的候选答案池及奖励得分构成训练样本数据集； S3，针对每个问题查询文本的每个候选答案，确定所述候选答案对应的回答概率，根据多个候选答案对应的回答概率及对应的奖励得分计算所述问题查询文本对应的第一奖励期望，根据每个问题查询文本对应的第一奖励期望计算训练样本数据集中所有问题查询文本对应的第二奖励期望； S4，根据所述第二奖励期望及训练样本数据集对大语言模型进行价值对齐调整，以实现对模型参数进行调整，判断是否满足预定收敛条件；若否，则执行S5；若是，则执行S6； S5，根据调整后的大语言模型生成每个问题查询文本对应的多个新的候选答案，根据所述多个新的候选答案对所述候选答案池进行更新，跳转执行S2； S6，生成目标大语言模型； 其中，所述根据多个候选答案对应的回答概率及对应的奖励得分计算所述问题查询文本对应的第一奖励期望，根据每个问题查询文本对应的第一奖励期望计算训练样本数据集中所有问题查询文本对应的第二奖励期望进一步包括： 基于如下公式计算第一奖励期望： 其中，Ei为第i个问题查询文本对应的第一奖励期望，为第i个问题查询文本的第j个候选答案对应的回答概率，为第i个问题查询文本的第j个候选答案对应的奖励得分，Ai为第i个问题查询文本对应的候选答案池，M为第i个问题查询文本的候选答案池中候选答案的数量，θ为大语言模型的模型参数； 利用如下公式计算第二奖励期望： 其中，为第二奖励期望，N为问题查询文本的数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人人民网股份有限公司，其通讯地址为：100026 北京市西城区新街口外大街28号B座234号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。