买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工业大学申请的专利一种基于细粒度注意力的医学影像报告生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115861641B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211346536.X，技术领域涉及：G06V10/44；该发明授权一种基于细粒度注意力的医学影像报告生成方法是由高楠;姚任远;陈朋;虞思晴设计研发完成，并于2022-10-31向国家知识产权局提交的专利申请。

本一种基于细粒度注意力的医学影像报告生成方法在说明书摘要公布了：一种基于细粒度注意力的医学影像报告生成方法，包含：首先，通过预训练过的yolov5目标检测模型提取原始X射线全景图片中的牙齿和症状区域；通过denseNet‑121卷积神经网络对原始X射线全景图片提取特征，并与候选疾病标签文本通过跨模态注意力融合特征，得到粗粒度全局跨模态表示。随后，基于牙齿和症状区域的几何位置分布构建几何联结图，使牙齿和对应病灶区域在空间上对齐。然后，将区域图像特征根据几何联结图所表示的所属关系通过图注意力融合特征，得到细粒度的牙齿症状表示。最后，将粗粒度全局跨模态特征与细粒度牙齿症状表示输入具有两层跨模态注意力并由一个句子状态遗忘门控制的transformer桥塔文本生成器生成文本生成最后的报告文本。

本发明授权一种基于细粒度注意力的医学影像报告生成方法在权利要求书中公布了：1.一种基于细粒度注意力的医学影像报告生成方法，包含以下步骤： 步骤1：将口腔X射线全景图片均压缩到512*512的尺寸，然后使用DenseNet-121卷积神经网络对其提取全图特征，使用yolov5目标检测工具检测出图中的牙齿目标框和病灶目标框对于每个牙齿和病灶目标框内的子图，也使用DenseNet-121卷积神经网络提取子图的图像特征；最终得到图像的全图特征V、牙齿子图特征集合病灶子图特征集合牙齿子图位置集合以及病灶子图位置集合和病灶对应疾病关键词嵌入其中i、j代表图像中的牙齿对象个数和病灶对象个数；其中 步骤2：使用Bert获取候选疾病标签的词嵌入将全局图像特征和标签词嵌入输入跨模态互注意力编码器，编码跨模态全局级图像表示；跨模态互注意力编码器由两个多头互注意力模块组成，第一个多头互注意力模块由V作为Query，Wdes作为Key和Value，用于根据全局图像特征为可能的疾病标签分配权重，得到编码后的标签权重第二个多头互注意力模块由作为Query，V作为Key和Value,用于根据编码后的标签权重为全局图像的各个区域分配权重，得到图像中的重点区域最后将二者归一化后相加，得到跨模态全局级图像表示V′pic；整个过程可由以下公式表示： 其中，MHA表示多头注意力机制： MHAX,Y＝[Att1X,Y；…；AttnX,Y]WO5 其中，是可学习的参数矩阵； 步骤3：根据牙齿和病灶的相对位置构建一张几何关系图G，将相关的病灶区域和牙齿区域绑定，约束病灶区域的编码作用域； 步骤4：将病灶区域的细粒度图像特征和对应的标签词嵌入相加，得到跨模态细粒度对象级疾病图像表示 步骤5：根据牙齿目标和病灶目标框在图中的位置坐标编码目标的绝对位置和相对位置嵌入，将各自的位置信息嵌入与细粒度对象级疾病图像表示、细粒度对象级牙齿图像表示相加，然后使用几何自注意力机制分别编码牙齿对象间的相互关系和病灶对象间的相互关系；得到牙齿对象自注意力表示和病灶对象自注意力表示 定义每个目标框的位置坐标为Bi＝x,y,w,h,其中x,y,w,h分别代表目标框的中心水平坐标、中心垂直坐标、宽度和高度；由此我们获得每个目标框的绝对位置编码RPE： RPEi＝BiWemb7 其中是一个绝对位置嵌入参数矩阵； 对于每两个目标框Bi和Bj，它们的相对几何位置关系可以由一个四元组表示为： 由此我们获得每个目标框对Bi,Bj的相对位置编码： RltPEi,j＝Ωi,jWemb′9 其中是一个相对位置嵌入参数矩阵； 定义几何自注意力机制MHCSA为： MHCSAX,Y＝[CSAtt1X,Y；…；CSAttnX,Y]WO10 其中，是可学习的参数矩阵； 步骤6：根据几何关系图G，使用图互注意力机制编码上一步得到的相关细粒度牙齿对象自注意力表示和病灶对象自注意力表示建模相关的疾病区域和牙齿区域间的细节关系，再通过前馈神经网络得到细粒度对象级图像特征V′obj；图互注意力机制MHGCA旨在通过将目标节点的信息嵌入源节点来增强源节点的表示； 步骤7：将全局级图像特征V′pic和细粒度对象级图像特征V′obj输入具有两层跨模态注意力并由一个句子状态遗忘门控制的transformer桥塔文本生成器RegionControlGenerator生成文本；生成器在一般的transformer基础上加入了两级跨模态注意力模块：句子级跨模态注意力模块首先对全局级图像特征整体应用跨模态注意力，为全局图像上的局部区域分配权重；随后词级跨模态注意力模块再进一步对细粒度对象级图像特征应用跨模态注意力，决定需要具体表述哪一颗牙齿对象的信息；句子状态遗忘门控制单元根据生成器当前时间步所处的句子状态与目前句子级跨模态注意力模块所关注的区域权重为当前输入的细粒度对象级图像特征分配一个遗忘权重，控制本句话所具体关注的牙齿对象，约束疾病标签的解码作用域；最后，将隐藏层输出送入线性层和softmax以预测下一个字； 步骤8：生成器迭代生成最终的文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。