深圳北理莫斯科大学李成明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳北理莫斯科大学申请的专利一种基于多层融合对比解码框架的大模型幻觉去除方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119886323B 。
龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411703424.4,技术领域涉及:G06N5/04;该发明授权一种基于多层融合对比解码框架的大模型幻觉去除方法是由李成明;陈定纬;杨敏;胡希平设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本一种基于多层融合对比解码框架的大模型幻觉去除方法在说明书摘要公布了:本发明提供一种基于多层融合对比解码框架的大模型幻觉去除方法,包括:构建基于多层融合对比解码框架的大型语言去幻策略,大型语言去幻策略的多层融合对比解码框架包括基于多层融合的对比解码模块和基于上下文引导的事实性重聚焦模块,其中,所述对比解码模块用于结合原始模型与幻觉模型之间的最终层与中间层的信息进行对比解码计算,所述事实性重聚焦模块用于对所述对比解码计算过程进一步优化;应用所述大型语言去幻策略至大型语言模型中,以对自然语言处理任务中的幻觉现象进行幻觉去除。本发明的技术方案不仅能够提高大型语言模型输出的准确性和真实性,还具有较好的泛化能力和较低的计算成本,适用于多种不同的自然语言处理任务和应用场景。
本发明授权一种基于多层融合对比解码框架的大模型幻觉去除方法在权利要求书中公布了:1.一种基于多层融合对比解码框架的大模型幻觉去除方法,其特征在于,包括: 构建基于多层融合对比解码框架的大型语言去幻策略,所述大型语言去幻策略的多层融合对比解码框架包括基于多层融合的对比解码模块和基于上下文引导的事实性重聚焦模块,其中,所述对比解码模块用于结合原始模型与幻觉模型之间的最终层与中间层的信息进行对比解码计算,所述事实性重聚焦模块用于对所述对比解码计算过程进一步优化; 应用所述大型语言去幻策略至大型语言模型中,以对自然语言处理任务中的幻觉现象进行幻觉去除; 所述对比解码模块用于结合原始模型与幻觉模型之间的最终层与中间层的信息进行对比解码计算,具体包括: a.幻觉模型构建:通过在包含非事实数据的数据集上对所述原始模型进行有监督微调,向所述原始模型中注入幻觉信息,得到幻觉模型; b.对比解码:将查询分别输入至所述原始模型和所述幻觉模型中,分别得到对应的文本回复输出分布,进一步通过所述原始模型和所述幻觉模型的文本回复的概率分布相减实现对比解码; c.多层融合:在所述原始模型和所述幻觉模型之间进行多层融合的对比解码,结合两个模型最终输出层和中间层之间的对比解码结果进行融合; 步骤c中多层融合过程包括: c11.并行地对所述原始模型和所述幻觉模型之间的中间层进行对比解码,这一步骤用公式表述为: 其中,表示两个模型之间中间层对比解码的结果,是中间层解码时控制对比解码比例的超参数,L是一个超参数,用于指定人为选择的还原模型和所述幻觉模型的中间层; c12.将所述原始模型和所述幻觉模型最终层对比解码的结果和中间层对比解码的结果进行融合,以实现更加完善的对比解码计算,这一计算过程用公式表述为: 其中,FML表示多层融合对比解码的结果,是控制多层融合比例的超参数; 所述事实性重聚焦模块用于对所述对比解码计算过程进一步优化,具体包括: d.在所述大型语言模型编码的过程中向查询Query引入上下文引导,以鼓励所述大型语言模型在对比解码过程中更加关注句子中代表事实性的关键词汇或短语,这一步骤用公式表述为: 其中,FTR表示事实性重聚焦模块的对比解码结果,是所述事实性重聚焦模块解码时控制对比解码比例的超参数,表示引入的上下文信息; e.将所述事实性重聚焦模块的输出分布与多层融合对比解码模块的输出分布进行融合,以进一步提高所述大型语言模型输出的真实性,这一过程表示为: 其中,FFinal表示所述大型语言模型最终的输出分布,是最终输出分布计算时控制融合比例的超参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳北理莫斯科大学,其通讯地址为:518172 广东省深圳市龙岗区龙城街道大运新城国际大学园路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励