买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广州伏羲智能科技有限公司申请的专利一种基于多模态大模型的问答数据处理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119312284B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411826700.6，技术领域涉及：G06F18/25；该发明授权一种基于多模态大模型的问答数据处理方法及系统是由袁文怡;王弘越;肖在春;廖载红设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本一种基于多模态大模型的问答数据处理方法及系统在说明书摘要公布了：本发明涉及一种基于多模态大模型的问答数据处理方法及系统，属于数据处理技术领域。包括以下步骤：通过构建关系图捕捉多模态中的细粒度特征关系，获取融合后的多模态特征；通过计算多模态融合特征与知识库中所有知识向量的相似度，设置阈值筛选知识向量构建知识子集；将构建的知识子集输入机器学习模型对用户的问答输入进行意图与场景识别；通过将获取的所有特征进行拼接后输入BLIP的解码器，进行生成预测答案；通过多轮对话收集用户反馈，根据用户反馈生成激励信号不断更新识别特征。本发明通过多模态融合特征进行跨模态知识检索构建知识子集，同时基于知识子集获取识别特征，为用户生成拓展性的引导答案，提升了问答的准确性和满意度。

本发明授权一种基于多模态大模型的问答数据处理方法及系统在权利要求书中公布了：1.一种基于多模态大模型的问答数据处理方法，其特征在于：包括以下步骤： 获取多模态融合特征：通过构建关系图捕捉多模态中的细粒度特征关系，完成跨模态信息的融合与匹配，获取融合后的多模态特征，包括步骤： 多模态特征提取：分别提取用户输入的图像数据和文本数据的模态特征； 跨模态知识检索：根据已有的公开图像数据和文本数据的特征向量建立知识库，通过计算多模态融合特征与知识库中所有知识向量的相似度，设置阈值筛选知识向量构建知识子集； 意图与场景识别：将构建的知识子集输入机器学习模型对用户的问答输入进行意图与场景识别，输出引导性意图与场景预测结果的识别特征； 答案生成与输出：将图像特征、文本特征、知识特征和识别特征进行拼接后，输入到BLIP的解码器中，解码器通过自回归的方式生成答案，逐步预测每一个词的概率分布；其中，知识特征通过跨模态知识检索获得的知识子集提取； 在解码过程中，使用softmax函数计算生成每个词的概率分布，并根据概率分布选择下一个词，直到生成完整的答案； 场景更新与扩展：通过多轮对话收集用户反馈，根据用户反馈生成激励信号不断更新识别特征，从而逐步缩小问题范围，完成用户问题的迭代优化生成； 所述获取多模态融合特征，还包括步骤： 图像数据的特征提取包括步骤： 将用户输入的图像数据进行预处理，通过预训练的FasterR-CNN模型基于RPN生成多个候选框，每个候选框的输出包括位置和置信度分数； 对于每个生成的候选框，将候选框区域从原始图像中裁剪出来，将裁剪后的图像区域输入到卷积神经网络中进行特征提取，得到每个候选框的特征向量； 将提取的候选框特征通过全连接层映射到公共特征空间获取特征向量，并为每个候选框生成位置编码，将图像划分为K×K的网格，候选框所覆盖的网格编码为1，未覆盖的网格编码为0，形成每个候选框的位置信息； 其中，映射到公共空间后的特征向量Oi表示为： O i =TanhWvvi+bv； 式中，Tanh﹒是激活函数，vi是第i个候选框的原始特征向量，Wv是权重矩阵，bv是偏置向量； 将所有候选框的特征向量和对应的位置信息结合，构成完整的图像特征表示； 所述场景更新与扩展，包括步骤： 收集用户反馈：收集用户基于模型给出的回答后的反馈信息，通过人类反馈强化学习框架生成奖励信号； 依据奖励信号对文本数据进行特征筛选生成新的文本特征，然后基于文本特征再次进行跨模态知识检索和意图与场景识别，从而基于更新的图像特征、文本特征、知识特征和识别特征生成新的对话答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州伏羲智能科技有限公司，其通讯地址为：510000 广东省广州市天河区软件路17号G2栋6楼616房；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。