买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院自动化研究所申请的专利增强多模态大模型的细粒度感知能力的方法、基于多模态大模型的图像处理方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120318606B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510804247.7，技术领域涉及：G06V10/764；该发明授权增强多模态大模型的细粒度感知能力的方法、基于多模态大模型的图像处理方法及装置是由朱贵波;倪佳辉;王金桥设计研发完成，并于2025-06-16向国家知识产权局提交的专利申请。

本增强多模态大模型的细粒度感知能力的方法、基于多模态大模型的图像处理方法及装置在说明书摘要公布了：公开了一种增强多模态大模型的细粒度感知能力的方法、基于多模态大模型的图像处理方法及装置，所述方法包括：获取目标检测数据集和图文对数据集；对于两个数据集中每个图像，将当前图像输入视觉编码器得到第一视觉特征；将第一视觉特征输入增强编码模块得到第二视觉特征；若当前图像属于目标检测数据集，基于第二视觉特征对当前图像进行目标检测处理得到预测结果；基于预测结果和第一真实标签确定的检测损失，调整视觉编码器和增强编码模块中参数；若当前图像属于图文对数据集，将第二视觉特征和文本问题输入大语言模型得到预估答案；基于预估答案和第二真实标签确定的第一生成损失，调整视觉编码器、增强编码模块和大语言模型的参数。

本发明授权增强多模态大模型的细粒度感知能力的方法、基于多模态大模型的图像处理方法及装置在权利要求书中公布了：1.一种增强多模态大模型的细粒度感知能力的方法，其特征在于，所述多模态大模型包括视觉编码器、增强编码模块和大语言模型，所述方法包括： 获取目标检测数据集和图文对数据集，其中，所述目标检测数据集包括多个第一图像和每个第一图像的第一真实标签，所述图文对数据集包括多个图文对和每个图文对的第二真实标签，所述第一真实标签包括相应第一图像所包含的对象的真实类别和真实位置信息，所述第二真实标签包括相应图文对中的文本问题的真实答案； 对于所述目标检测数据集和所述图文对数据集中的每个图像，执行如下处理： 将当前图像输入所述视觉编码器，得到第一视觉特征； 将所述第一视觉特征输入所述增强编码模块，得到第二视觉特征； 响应于所述当前图像属于所述目标检测数据集，基于所述第二视觉特征对所述当前图像进行目标检测处理，得到所述当前图像对应的预测结果；基于所述预测结果和所述当前图像的第一真实标签确定的检测损失，调整所述视觉编码器和所述增强编码模块的参数； 响应于所述当前图像属于所述图文对数据集，将所述第二视觉特征和所述当前图像所在图文对中的文本问题输入大语言模型，得到所述文本问题的预估答案；基于所述预估答案和所述当前图像所在图文对的第二真实标签确定的第一生成损失，调整所述视觉编码器、所述增强编码模块和所述大语言模型的参数； 其中，在所述目标检测数据集还包括所述当前图像对应的文本问题和所述第一真实标签还包括所述文本问题的真实答案的情况下，在基于所述预测结果和所述当前图像的第一真实标签确定的检测损失，调整所述视觉编码器和所述增强编码模块的参数之前，还包括： 将所述第二视觉特征和所述当前图像对应的文本问题输入大语言模型，得到所述当前图像对应的文本问题的预估答案；基于所述预估答案和所述当前图像对应的文本问题的真实答案确定第二生成损失； 其中，基于所述预测结果和所述当前图像的第一真实标签确定的检测损失，调整所述视觉编码器和所述增强编码模块的参数，包括： 基于所述检测损失和所述第二生成损失，调整所述视觉编码器、所述增强编码模块和所述大语言模型的参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院自动化研究所，其通讯地址为：100190 北京市海淀区中关村东路95号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。