买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州联汇科技股份有限公司;宏龙科技(杭州)有限公司申请的专利一种基于图文多模态的目标检测标签优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117197622B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311051883.4，技术领域涉及：G06V10/80；该发明授权一种基于图文多模态的目标检测标签优化方法是由赵天成;张倩倩;刘鹏;张璐设计研发完成，并于2023-08-21向国家知识产权局提交的专利申请。

本一种基于图文多模态的目标检测标签优化方法在说明书摘要公布了：本发明公开了一种基于图文多模态的目标检测标签优化方法，其包括优化模型的训练过程和推理的过程，优化模型的训练过程包括以下步骤：利用目标检测模型对样本中的图片进行目标检测，的各目标的区域图片以及预测标签；将各目标的区域图片输入图片编码器，获得各目标的图像表征向量；将各目标置信度最高的预测标签与正确标签对比，如果相同，则将置信度排第二的预测标签设为错误标签；否则将置信度最高的预测标签设为错误标签；计算分类交叉熵损失和目标图文对比损失，叠加后得到训练总损失，通过反向传播的方式完成训练过程。推理过程为将模板检测结果输入到优化模型，得到优化结果。本方案适用于目标检测结果的优化。

本发明授权一种基于图文多模态的目标检测标签优化方法在权利要求书中公布了：1.一种基于图文多模态的目标检测标签优化方法，其特征在于，包括优化模型的训练过程和利用训练后的优化模型推理的过程，优化模型包括图片编码器、文本编码器和softmax函数； 所述优化模型的训练过程包括以下步骤： S1、训练数据集的样本为图文对，即每个样本包括图片和与图片中目标对应的正确标签；利用目标检测模型对样本中的图片进行目标检测，所得到的结果包括各目标的区域图片以及各目标的预测标签，每个目标的预测标签不少于2个，依照置信度从大到小排列； S2、将各目标的区域图片输入图片编码器，获得各目标的图像表征向量； S3、将各目标置信度最高的预测标签与正确标签对比，如果置信度最高的预测标签与正确标签相同，则将置信度排第二的预测标签设为错误标签；如果置信度最高的预测标签与正确标签不同，则将置信度最高的预测标签设为错误标签； S4、利用各目标的图像表征向量、正确标签和错误标签计算分类交叉熵损失，利用各目标的图像表征向量和正确标签计算目标图文对比损失，叠加后得到训练总损失，通过反向传播的方式完成训练过程； 利用优化模型推理来优化标签的过程具体为：目标检测模型获得的结果包括各目标的区域图片和各目标的标签，每个目标的标签不少于2个，针对其中的一个目标，将此目标的区域图片通过图片编码器获得图像表征向量，将此目标的各标签分别通过文本编码器获得文本表征向量，将此目标的图像表征向量分别和每个文本表征向量相乘，所得乘积通过softmax函数进行归一化，所得结果的最高值对应的标签即为最终的标签； 所述步骤S4中，目标图文对比损失的计算公式为： 式中，l_m_pos是第m个目标的正确标签文本经过文本编码器后得到的文本表征向量，pv’_m,l_m_pos的计算公式如下： 式中，S为计算括号中两个对象的相似度，τ为温度超参数，Nri为同一批训练所用目标中除第m个目标之外的其它目标的描述文本集合，即文本描述k和图片目标m不匹配，但是和同一个训练样本集中的其他目标匹配； S的计算公式为： 式中，T表示转置，双竖线表示求向量长度，即norm2。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州联汇科技股份有限公司;宏龙科技(杭州)有限公司，其通讯地址为：310052 浙江省杭州市滨江区长河街道秋溢路399号3号楼四层、五层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。