买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳友朋智能商业科技有限公司申请的专利基于多模态数据处理的多目标商品识别方法、装置及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120236155B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510728593.1，技术领域涉及：G06V10/764；该发明授权基于多模态数据处理的多目标商品识别方法、装置及系统是由邱俊波;黄超群;陈俏锋设计研发完成，并于2025-06-03向国家知识产权局提交的专利申请。

本基于多模态数据处理的多目标商品识别方法、装置及系统在说明书摘要公布了：本发明涉及智能售货技术领域，解决了现有技术中无法在多目标场景下准确地进行商品识别的问题，提供了一种基于多模态数据处理的多目标商品识别方法、装置及系统。该方法包括：获取商品交易场景下多帧实时图像；对实时图像进行预处理和标签信息提取，确定目标图像和商品标签对应的文字信息；对目标图像进行实例分割，确定商品位置信息；对目标图像进行特征提取，确定商品图像特征信息；根据预收集的智能售货场景下的多源私有化数据，对开源多模态视觉语言模型进行微调与优化处理，得到多模态大模型；将商品图像特征信息和文字信息输入多模态大模型中进行信息融合，确定商品目标识别结果。本发明能够在多目标场景下准确地进行商品识别。

本发明授权基于多模态数据处理的多目标商品识别方法、装置及系统在权利要求书中公布了：1.一种基于多模态数据处理的多目标商品识别方法，其特征在于，所述方法包括： 获取商品交易场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像； 对所述实时图像进行预处理和标签信息提取，确定预处理后的目标图像和商品标签对应的文字信息； 对所述目标图像进行实例分割，确定商品位置信息； 根据所述商品位置信息，对所述目标图像进行特征提取，确定商品图像特征信息； 根据预收集的智能售货场景下的多源私有化数据，对开源多模态视觉语言模型进行微调与优化处理，得到用于商品识别的多模态大模型； 将所述商品图像特征信息和所述文字信息输入所述多模态大模型中进行信息融合，根据融合特征信息，确定商品目标识别结果； 所述将所述商品图像特征信息和所述文字信息输入所述多模态大模型中进行信息融合，根据融合特征信息，确定商品目标识别结果包括： 将所述商品图像特征信息和所述文字信息输入所述多模态大模型中，得到融合图像特征和文字语义的融合特征信息； 将所述融合特征信息输入预训练的商品分类模型中，得到初始商品类别； 根据所述初始商品类别，判断当前初始商品类别中是否存在相似商品； 当存在相似商品时，根据所述初始商品类别，获取待提取特征的局部区域和待提取的目标特征； 根据所述局部区域和所述目标特征，对所述目标图像进行特征提取，得到局部区域特征信息； 根据所述局部区域特征信息，对所述初始商品类别进行分类，得到目标商品类别作为所述商品目标识别结果； 所述当存在相似商品时，根据所述初始商品类别，获取待提取特征的局部区域和待提取的目标特征包括： 根据所述初始商品类别，从预设的商品图像数据库中选取该类别下的多个子类别分别对应的样本图像； 将各所述样本图像输入预训练的显著性检测模型中，得到显著性热图，其中，所述显著性热图用于表征样本图像中对视觉特征注意力最集中的区域； 对所述显著性热图进行阈值分割，得到多个候选区域； 对各所述候选区域进行综合评分，根据评分结果，从各所述候选区域中筛选得到所述局部区域； 对所述局部区域进行候选特征提取和特征评估，根据特征评估结果，从提取的候选特征中筛选得到所述目标特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳友朋智能商业科技有限公司，其通讯地址为：518000 广东省深圳市宝安区航城街道三围社区索佳科技园A栋A103；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。