买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于标记增强学习的大语言模型多维偏好对齐方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120196748B 。

龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510669015.5，技术领域涉及：G06F16/335；该发明授权一种基于标记增强学习的大语言模型多维偏好对齐方法及系统是由徐宁;乔世琦设计研发完成，并于2025-05-23向国家知识产权局提交的专利申请。

本一种基于标记增强学习的大语言模型多维偏好对齐方法及系统在说明书摘要公布了：本发明公开了一种基于标记增强学习的大语言模型多维偏好对齐方法及系统。本发明方法包括：使用多个不同奖励模型对对话样本数据进行打分，得到样本偏好置信度，进行标记增强，并对偏好数据集进行重构；从重构的数据集中选定对话样本对大语言模型进行有监督训练之后，对大语言模型进行基于置信度的带权重直接偏好优化；结合普拉特缩放进行大语言模型校准，对大语言模型参数和校准参数进行迭代更新，实现多维人类偏好对齐的最优策略。本发明通过调用多个奖励模型作为人类代理来生成对话样本置信度，结合标记增强学习解决了主流对齐数据集中缺乏体现多维人类偏好特征的缺点，有效提升了大语言模型对话质量，具有广泛的实际应用前景。

本发明授权一种基于标记增强学习的大语言模型多维偏好对齐方法及系统在权利要求书中公布了：1.一种基于标记增强学习的大语言模型多维偏好对齐方法，其特征在于，包括如下步骤： 使用多个不同奖励模型对对话样本数据进行打分，得到样本偏好置信度，进行标记增强，并对偏好数据集进行重构； 从重构的数据集中选定对话样本对大语言模型进行有监督训练之后，对大语言模型进行基于置信度的带权重直接偏好优化；所述基于置信度的带权重直接偏好优化的目标函数如下： ； 其中，是待优化的策略模型，、分别是模型对输入x生成回答、的概率，是参考策略模型，、分别是模型对输入x生成回答、的概率，是重构后的偏好数据集划分的训练集，包含三元组，是温度系数，控制策略更新幅度，是Sigmoid激活函数，表示求期望，是样本偏好置信度，n为奖励模型数，为“被选择”回答，为“被拒绝”回答，为指示函数，和分别表示第i个奖励模型对对话样本和的打分； 结合普拉特缩放进行大语言模型校准，对大语言模型参数和校准参数进行迭代更新；其中使用从重构的数据集中划分出的校准集拟合校准参数，最小化校准集上的负对数似然损失： ， ， ； 其中，是模型校准后输出的偏好分布，是模型对输入x生成回答的可能性大于生成回答的可能性的概率，A和B是要拟合的校准参数；初始化校准参数A=1，B=0，使用梯度下降算法对校准参数和大语言模型参数进行交替优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：211189 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。