南昌大学汪琦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南昌大学申请的专利一种跨模态食品检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119903203B 。
龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411890626.4,技术领域涉及:G06F16/583;该发明授权一种跨模态食品检索方法是由汪琦;汪栋;熊辛;盖迪;陈睿彬;李龙飞;徐继阳;闵卫东;周瑞桦设计研发完成,并于2024-12-20向国家知识产权局提交的专利申请。
本一种跨模态食品检索方法在说明书摘要公布了:本发明涉及人工智能和机器学习的跨学科研究领域,尤其涉及。本发明提供了一种跨模态食品检索方法,重点是在图像编码器与食谱编码器的基础上增加多粒度交互编码器构建TEI框架,将给定的图像‑文本配对数据分别输入到图像编码器与食谱编码器进行训练学习,图像编码器提取全局视觉特征,食谱编码器提取层次化特征并使用线性层获得全局食谱特征,多粒度交互编码器提取多粒度特征,所述层次化特征与多粒度特征计算成对的自注意力并取平均值得多粒度交互特征,基于层次化语义对齐损失函数对齐两种模态之间的相关性。目的是探索图像和文本模态之间的多粒度互动相关性,以提高跨模态检索性能。
本发明授权一种跨模态食品检索方法在权利要求书中公布了:1.一种跨模态食品检索方法,其特征在于,包括以下步骤: 在图像编码器与食谱编码器的基础上增加多粒度交互编码器构建TEI框架; 将给定的图像-文本配对数据分别输入到图像编码器与食谱编码器进行训练学习; 图像编码器提取全局视觉特征; 食谱编码器提取层次化特征并使用线性层获得全局食谱特征; 多粒度交互编码器提取多粒度特征时,食物图像被转换为三个粒度级别的张量并与MRA进行交互计算,得三个级别的细粒度输入并通过线性投影得多粒度特征; 所述层次化特征与多粒度特征计算成对的自注意力并取平均值得多粒度交互特征; 基于层次化语义对齐损失函数对齐两种模态之间的相关性时,通过小批量数据内的两阶段相似度计算获取多粒度交互相似性分数,并通过层次化语义对齐损失函数减少所述图像-文本配对数据的不匹配问题;在的基础上引入一般跨模态三元组损失和语义三元组损失并由、和共同监督; 将训练好的TEI框架用于跨模态食品检索。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南昌大学,其通讯地址为:330000 江西省南昌市红谷滩新区学府大道999号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励