广州市九重天信息科技有限公司李乐平获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉广州市九重天信息科技有限公司申请的专利基于多模态融合的报告智能生成方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121052236B 。
龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511597173.0,技术领域涉及:G06F40/186;该发明授权基于多模态融合的报告智能生成方法及系统是由李乐平;李林雄设计研发完成,并于2025-11-04向国家知识产权局提交的专利申请。
本基于多模态融合的报告智能生成方法及系统在说明书摘要公布了:本发明公开了基于多模态融合的报告智能生成方法及系统。方法包括多模态数据输入与预处理、单模态特征提取、多模态信息平衡、跨模态交互与融合、报告内容生成、报告后处理与输出和损失函数训练优化。本发明涉及自然语言处理技术领域,尤其涉及基于多模态融合的报告智能生成方法及系统,本方案构建多模态融合模型,采用“模式‑语义”双通道特征提取与双阶段层次化融合方法实现模态间协同整合,充分挖掘互补信息;本方案通引入多模态信息平衡机制,动态评估各模态贡献度并调节梯度更新权重,有效防止文本主导,提升模型对低频但高价值视觉信号的敏感性,增强报告的全面性与客观性。
本发明授权基于多模态融合的报告智能生成方法及系统在权利要求书中公布了:1.基于多模态融合的报告智能生成方法,其特征在于:该方法包括以下步骤: 步骤S1:多模态数据输入与预处理,接收待分析的原始多模态数据集,并对数据集的数据进行预处理,得到预处理数据集,所述数据集包含两种模态的数据,文本模态数据和图像模态数据; 步骤S2:单模态特征提取,对预处理数据中的文本和图像模态数据分别提取模式特征和语义特征,共四个特征通道,得到初始文本模式特征、初始文本语义特征、初始图像模式特征和初始图像语义特征,并将四个特征通道提取的特征投影到统一维度,统称为模态特征; 步骤S3:多模态信息平衡,计算各模态特征的激活信息量与模态间差异率,据此设计自适应平衡因子,对梯度更新进行加权调控; 步骤S4:跨模态交互与融合,构建多模态融合模型,采用双阶段特征融合方法对模式特征和语义特征进行层次化融合,得到多模态融合特征; 步骤S5:报告内容生成,预设报告模板库,基于多模态融合特征和预设的报告模板库,使用Transformer解码器生成初步报告内容; 步骤S6:报告后处理与输出,对生成的初步报告内容进行后处理,输出最终的结构化报告文档; 步骤S7:损失函数训练优化,采用生成式损失和语义一致性损失联合训练优化Transformer解码器的参数; 在步骤S3中,多模态信息平衡,具体包括以下步骤: 步骤S31:基础梯度更新,对于每个模态特征的特征通道的模型参数使用标准化方法进行梯度更新; 步骤S32:计算各模态的信息量,对于每个模态特征,使用logit分数获得各模态特征的信息量; 步骤S33:量化模态信息量,将logit分数转化为可比较的信息量指标,计算每个模态特征在真实类别上的softmax值,定义量化模态,量化不同模态特征的信息量; 步骤S34:计算模态的差异率,使用差异率计算模态特征贡献的信息量占所有模态特征总信息量的比例; 步骤S35:平衡因子,设置平衡因子,调节各模态的梯度更新强度; 步骤S36:梯度更新,将平衡因子引入原始梯度更新公式,得到改进后的参数更新规则。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广州市九重天信息科技有限公司,其通讯地址为:510000 广东省广州市天河区能源路4号803房;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励