中国人民解放军国防科技大学周斌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国人民解放军国防科技大学申请的专利基于解码概率纠正的大语言模型对齐方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119442018B 。
龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411460699.X,技术领域涉及:G06F18/2415;该发明授权基于解码概率纠正的大语言模型对齐方法及装置是由周斌;刘玉莹;张悦;黄颜熠;田磊;赵学臣;江荣;涂宏魁;王晔设计研发完成,并于2024-10-18向国家知识产权局提交的专利申请。
本基于解码概率纠正的大语言模型对齐方法及装置在说明书摘要公布了:本申请公开了一种基于解码概率纠正的大语言模型对齐方法及装置,属于人工智能领域。通过引入一个轻量级的概率纠正模型,在推理解码过程中实时监控并干预大语言模型的原始生成概率分布。它通过分析大语言模型为每个候选token分配的生成概率,利用概率纠正模型对这些概率进行实时、动态的调整。同时,本发明还引入了基于鉴别器的全局评估机制,以进一步增强生成内容的质量控制和对齐保障。这一鉴别器不仅具备对生成文本进行整体评价的能力,还能识别出潜在的不当内容或偏差,从而为概率纠正模型提供更加全面、准确的反馈。
本发明授权基于解码概率纠正的大语言模型对齐方法及装置在权利要求书中公布了:1.一种基于解码概率纠正的大语言模型对齐方法,其特征在于,所述方法包括: 生成训练集,所述训练集根据给定问题的可能续写组成而生成; 通过大语言模型根据所述训练集训练得到概率纠正模型; 在所述大语言模型的文本生成过程中,使用训练好的概率纠正模型调整下一个文本基本单元的生成概率,所述文本基本单元为生成文本的基本单元; 通过鉴别器对所述生成文本进行评估;所述通过鉴别器对所述生成文本进行评估,包括:引入所述鉴别器来评估当前生成的token序列xt是否符合对齐标准;当指示加入的的序列通过对齐标准,否则将所述加入禁用列表,表达为; 响应于所述生成文本不符合对齐标准,在所述大语言模型中通过引入回溯机制对所述生成文本的文本基本单元进行回溯与调整;所述响应于所述生成文本不符合对齐标准,在所述大语言模型中通过引入回溯机制对所述生成文本的文本基本单元进行回溯与调整,包括:若在时间t时,通过所述鉴别器评估候选token集合为不合格,触发回溯机制,其中候选token用于指示所述文本基本单元;通过所述回溯机制回到上一个时间步t−1,并将当前tt-1加入所述禁用列表,表达为,其中tt-1表示为时间步t−1的token;通过所述回溯机制从上一个时间步的候选token集合中重新选择未在禁用列表中的token进行生成直至找到符合对齐标准的token; 其中,在时间步t时,所述大语言模型生成了的token序列表示为,且所述大语言模型用于从候选token集合中生成新的token,所述候选token集合中的每个候选token的生成概率表达为,所述表示在上下文xt下生成候选token的概率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国人民解放军国防科技大学,其通讯地址为:410000 湖南省长沙市开福区德雅路109号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励