中南民族大学高原获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中南民族大学申请的专利基于思维链和大模型的报告生成方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120495213B 。
龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510568159.1,技术领域涉及:G06T7/00;该发明授权基于思维链和大模型的报告生成方法及装置是由高原;周孟轲;凌鸿顺;张莉;谢勤岚;陆雪松;王芳;张朱珊莹;曹汇敏设计研发完成,并于2025-04-30向国家知识产权局提交的专利申请。
本基于思维链和大模型的报告生成方法及装置在说明书摘要公布了:本申请公开了一种基于思维链和大模型的报告生成方法,属于图像处理技术领域。该方法包括:将图像信息和文本信息输入到采用多任务训练方法训练好的多模态混合编码器‑解码器模型中,得到目标文本报告;多模态混合编码器‑解码器模型包括编码模块、对齐模块、思维链推理模块和解码模块,编码模块用于对图像信息和文本信息进行特征提取,得到图像特征和文本特征;对齐模块用于对图像特征和文本特征进行图像‑文本对齐,得到图像‑文本对齐结果;思维链推理模块用于对图像‑文本对齐结果进行推理,生成思维链;解码模块用于对图像‑文本对齐结果和思维链进行解码,得到目标文本报告。该方法提升了文本报告生成的连贯性和准确性。
本发明授权基于思维链和大模型的报告生成方法及装置在权利要求书中公布了:1.一种基于思维链和大模型的报告生成方法,其特征在于,所述方法包括: 获取图像信息和文本信息; 将所述图像信息和文本信息输入到采用多任务训练方法训练好的多模态混合编码器-解码器模型中,得到目标文本报告; 其中,所述多模态混合编码器-解码器模型包括编码模块、对齐模块、思维链推理模块和解码模块,所述编码模块包括视觉编码器和文本编码器;所述多模态混合编码器-解码器模型的训练过程包括:构建预设多模态混合编码器-解码器模型;基于多个图像数据和图像数据对应的文本报告构建数据集;基于所述数据集,采用多任务训练方法对预设多模态混合编码器-解码器模型进行训练,得到训练好的多模态混合编码器-解码器模型;其中,所述多任务包括对比学习任务、图文匹配任务和文本生成任务; 所述文本生成任务的训练过程包括:将所述数据集输入到预设多模态混合编码器-解码器模型中,得到每个时间步下一个词的概率分布;根据平滑系数和词汇表大小调整所述概率分布,基于调整后概率分布与实际分布计算每个时间步的交叉熵损失值;所述交叉熵损失的计算方式如下: ; 其中,为交叉熵损失,-表示每个时间步的原始交叉熵损失的计算公式,为给定的文本序列,T为序列长度,为下一个真实的目标词,是标签平滑系数;基于每个时间步的交叉熵损失值,得到语言建模损失;基于所述语言建模损失,训练所述预设多模态混合编码器-解码器模型;是词汇表大小;表示除了真实的目标词之外的目标词所对应的概率估计; 所述对比学习任务所使用的损失函数为图像-文本对比损失,所述对比学习任务的训练过程包括:使用编码器分别提取批次内的图像和文本的特征表示;根据当前编码器的状态更新动量编码器的权重;利用动量编码器处理相同批次的数据,产生平滑版本的特征表示;基于相似度公式,计算正样本和负样本对之间的相似度得分,其中,正样本对的相似度得分通过点积实现,负样本对的相似度得分通过相似度矩阵实现;根据图像-文本对比损失计算损失,并通过反向传播算法调整模型参数以最小化损失; 所述图文匹配任务所使用的损失函数为图文匹配损失,所述图文匹配任务的训练过程包括:利用图像编码器和文本编码器分别提取图像和文本的特征表示;将提取出的特征进行融合,并通过线性层计算每一对图像-文本的得分;根据实际的匹配情况和模型预测的得分,计算每个样本的所述图文匹配损失,所述图文匹配损失的计算公式如下所示: ; 其中,表示sigmoid函数,为图文匹配损失,为图像i和文本t配对后的得分;在一批次内根据模型当前的预测结果挑选出硬负样本,并基于损失总和更新模型参数,所述损失总和为所有样本的损失的总和,其中,所述所有样本包括所述硬负样本;表示标签,即每个图像和文本对的实际匹配情况; 所述编码模块用于对所述图像信息和文本信息进行特征提取,得到图像特征和文本特征; 所述对齐模块用于对所述图像特征和文本特征进行图像-文本对齐,得到图像-文本对齐结果; 所述思维链推理模块用于对所述图像-文本对齐结果进行推理,生成思维链; 所述解码模块用于对所述图像-文本对齐结果和所述思维链进行解码,得到目标文本报告。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中南民族大学,其通讯地址为:430000 湖北省武汉市洪山区民族大道708号、823号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励