买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国海洋大学申请的专利一种基于多模态大模型的疾病预测与辅助诊断系统构建方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120565123B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511061777.3，技术领域涉及：G16H50/70；该发明授权一种基于多模态大模型的疾病预测与辅助诊断系统构建方法及系统是由马晓东;魏志强;刘昊设计研发完成，并于2025-07-31向国家知识产权局提交的专利申请。

本一种基于多模态大模型的疾病预测与辅助诊断系统构建方法及系统在说明书摘要公布了：本发明涉及医疗及多模态大模型技术领域，公开了一种基于多模态大模型的疾病预测与辅助诊断系统构建方法及系统。所述方法包括报告单格式转换与数据清理，表格图像转结构化文本；构建检索知识库以增强检索能力；精准提示语设计与推理优化；小样本学习与模型微调；多模态大模型集成与可视化系统。本发明该系统有效解决了传统疾病风险预测方法的准确性问题，提供更加可靠的辅助诊断工具。

本发明授权一种基于多模态大模型的疾病预测与辅助诊断系统构建方法及系统在权利要求书中公布了：1.一种基于多模态大模型的疾病预测与辅助诊断系统构建方法，其特征在于，所述方法如下： 步骤1、报告单格式转换与数据清理，表格图像转结构化文本：将报告单文件转换为标准文本格式，并清理非信息数据；将图像形式呈现的表格内容转化为结构化文本并整合；对于第i种显式元数据，识别出属于正则定义集合M的行，然后从整份文档行集中剔除，得到仅含核心医学信息的行集合C，所述的显式元数据包括页码、报告编号、图注和URL；针对文档中的结构性元素进行格式解析，确保文本内容清晰、有序，并符合模型输入要求，所述的结构性元素包括标题、段落和表格； ； 表示为一行文本，表示整份文档的全部行集合，表示集合M中与核心医学信息行不匹配的元数据行，即只把不匹配元数据正则集合M的行加入C； 采用自动化工具将报告单从原始格式转换为可编辑的文本格式；转换过程使用光学字符识别技术提取图像中的文本内容，确保图像中嵌入的文字信息能够被机器理解和处理；对于报告单中的非信息性数据，通过基于正则的“显式”元数据删除规则进行数据清理； 通过光学字符识别技术提取表格中的图像数据，将表格内容转化为可编辑文本；对于表格中的数值、文字和其他重要信息，采用多头注意力机制对其进行解析，识别每一列、每一行的数据类别及其相互关系，确保表格中的数据能够被模型清晰理解；根据表格内容的结构，设计并生成标准化的文本格式，将表格中的各个单元格数据按行列结构转换成结构化文本，且该文本保持原有表格的逻辑关系；将转换后的表格信息嵌入到标准文本报告中，形成一个完整的医学报告文本，以保证报告内容的连贯性和逻辑性； 步骤2、构建检索知识库以增强检索能力：采用自然语言处理技术对知识库中的文本进行语义分析和信息提取，提取出知识库中的关键信息并进行结构化存储，引入检索增强生成技术，将知识库与医学ChatGLM3模型进行有效的结合，利用向量检索和语义匹配算法增强信息检索的能力；通过与预训练多模态医学ChatGLM3模型的整合，确保检索结果的相关性和准确性； 利用Bert+CRF架构抽取疾病、检查项、指标、部位和时间在内的医学实体，分类器预测实体之间的“检查-结果”和“诊断-结论”逻辑关联，将“实体-属性-关系”三元组入库，形成可检索的结构化知识；通过检索增强生成技术，将所有段落向量放入FAISS索引中，配置索引类型和维度属性信息，对分词后文本建倒排索引，对用户查询内容做打分，将检索融合系数设置为0.6，取综合分数最高的十个文档，将这十个文档按模板拼到提示库中，将知识库与模型有效结合，增强模型的检索能力和生成准确性，确保模型能够快速响应查询； 步骤3、精准提示语设计与推理优化：设计有效提示机制以提高医学ChatGLM3模型推理准确性：基于胃癌领域的特定任务需求，设计与其紧密相关的提示语句；提示语句包括：能够为医学ChatGLM3模型提供有关胃癌的症状、风险因素、历史病例在内的信息； 步骤4、小样本学习与模型微调：基于预训练医学ChatGLM3模型进行小样本学习，优化诊断预测能力； 基于少量高质量标注文本数据，采用同义词替换、随机插入、随机交换和随机删除四类简单扰动操作，每条原始文本生成K个变体，最终得到增强文本集；利用CycleGAN在不同染色风格见做无监督图像翻译，以合成更多样式的切片样本，记两种风格域为X与Y，其中X为原，Y为目标，生成器为，判别器为；模型训练的全局损失为： ； 其中，表示从分布Y中采样得到的真实目标域样本，表示从分布X中采样得到的真实源域样本；和表示度量G和F两个生成器之间的差异，控制循环损失权重；训练收敛后，利用G与F对原始切片的反复转换，得到多种风格切片，共计增强图像集；结合迁移学习技术，将预训练的医学ChatGLM3大模型，在大规模未标注胃癌相关文献和电子病历上做五轮的微调训练；医学ChatGLM3共有L层Transformer，参数中预测头为；采用逐层解冻策略，冻结前80%Transformer层，仅微调顶层+预测头；逐层解冻策略如下： ； 第r层解冻为，初始冻结比例，每层解冻底层，学习率和BatchSize分别设置为1e-5和32，每一轮解冻底层10%； 步骤5、多模态大模型集成与可视化系统：设计直观、简洁的用户界面，确保医务人员能够快速访问和理解系统输出的诊断建议。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国海洋大学，其通讯地址为：266100 山东省青岛市崂山区松岭路238号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。