买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利用于医学视觉-语言多模态任务的文本嵌入表示方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116704272B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210180289.4，技术领域涉及：G06V10/77；该发明授权用于医学视觉-语言多模态任务的文本嵌入表示方法及系统是由张文强;张安达;王昊奋;陶玮;李紫延;王建峰设计研发完成，并于2022-02-25向国家知识产权局提交的专利申请。

本用于医学视觉-语言多模态任务的文本嵌入表示方法及系统在说明书摘要公布了：本发明公开了用于医学视觉‑语言多模态任务的文本嵌入表示方法，包括：步骤1，获取带有类别标签的医学图像数据集，进行预处理，同时划分为测试集和训练集；步骤2，预训练一个基于Transformer块的上下文信息特征的神经网络模型并进行优化训练；步骤3，获取带有医学图像‑文本对的数据集，并进行标准化处理，进行多分类预测，得到图像‑标签‑文本的三元组对；步骤4，对三元组对执行预定操作，得到图像标签的文本特征表示和图像文本对中文本的特征表示；步骤5，将图像标签的文本特征表示融入到图像文本对中文本的特征表示中，得到联合嵌入特征表示；步骤6，使用t‑SNE算法将联合嵌入特征表示降维至二维空间中，从而在隐式嵌入空间中观察特征分布。

本发明授权用于医学视觉-语言多模态任务的文本嵌入表示方法及系统在权利要求书中公布了：1.一种用于医学视觉-语言多模态任务的文本嵌入表示方法，其特征在于，包括以下步骤： 步骤1，获取带有类别标签的医学图像数据集，将所述医学图像数据集中的图像进行预处理，同时将所述医学图像数据集划分为测试集和训练集； 步骤2，预训练一个基于Transformer编码块的上下文信息特征的医学图像分类的神经网络模型，基于所述训练集对所述神经网络模型进行优化训练，得到训练完成的神经网络模型； 步骤3，获取带有医学图像-文本对的数据集，将图像和文本进行标准化处理，并基于所述测试集通过所述训练完成的神经网络模型进行多分类预测，预测图像类型知识，得到图像-标签-文本的三元组对； 步骤4，对所述图像-标签-文本的三元组对执行预定操作，得到图像标签的文本特征表示和图像文本对中文本的特征表示； 步骤5，将所述图像标签的文本特征表示融入到所述图像文本对中文本的特征表示中，得到联合嵌入特征表示，并输入到Transformer中； 步骤6，使用t-SNE算法将所述联合嵌入特征表示降维至二维空间中，从而在隐式嵌入空间中观察特征分布； 其中，步骤4中，所述预定操作为： 初始化Bert文本语言模型的嵌入层，首先通过计算所述图像-标签-文本的三元组对的词向量嵌入、位置嵌入以及令牌嵌入的总和，得到文本嵌入之和，然后通过层归一化操作对所述文本嵌入之和进行归一化，最后通过dropout操作减少样本的噪声以及对数据进一步标准化，从而对图像标签的文字编码成功，得到图像标签的文本特征表示，重复所述预定操作，得到图像文本对中文本的特征表示， 步骤5中，所述图像标签的文本特征表示融入到所述图像文本对中文本的特征表示的过程为： 将异构的图像类型信息融入到文本特征中，按照文本编码最大长度作为基准，将编码后的标签文本特征重构为文本编码最大长度，即将低维特征取均值平均到每一维令牌嵌入上，公式如下： 其中，表示图像类型标签的嵌入的表示，表示文本的嵌入的表示，ntp和nq分别表示类型点标记和问题标记的长度，ME表示计算ntp-D的平均值，并在nq-D维度中扩展平均值，即使用图像类型标签嵌入的表示作为指导，使本身的文本嵌入在嵌入空间中偏移，然后将转换后的Etp添加到Eq中，以生成新的嵌入ETQ。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。