买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利统一级联的全景叙事检测与分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116050409B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310130117.0，技术领域涉及：G06F40/289；该发明授权统一级联的全景叙事检测与分割方法是由纪荣嵘;孙晓帅;杨丹妮;王昊为;纪家沂设计研发完成，并于2023-02-17向国家知识产权局提交的专利申请。

本统一级联的全景叙事检测与分割方法在说明书摘要公布了：统一级联的全景叙事检测与分割方法，涉及全景叙事检测与分割。1多模态编码；2多模态交互；3坐标引导聚合CGA；4质心驱使定位BDL；5训练损失。采用基于动态内核的方式构建统一的框架，为每个名词短语构建一个可学习的内核，预测其对应的掩码和边界框。针对预测冲突问题，提出两种新的级联模块来连续处理分割和检测，以实现跨任务对齐，即坐标引导聚合CGA模块和质心驱动定位BDL模块，利用分割掩码的质心作为锚点，将分割和检测串联连接，使两个任务自然对齐。两个模块的联合相互促进各自性能，即掩码的位置信息向前驱动BDL模块产生准确的方框，BDL模块的反向引导促进CGA模块在训练过程中区分不同实例的能力。

本发明授权统一级联的全景叙事检测与分割方法在权利要求书中公布了：1.统一级联的全景叙事检测与分割方法，其特征在于包括以下步骤： 1多模态编码：给定一段叙事文本和图像对，图像经过一个特征金字塔网络提取视觉特征为Fv；叙事文本通过预训练的基于Trasnformer的双向编码器BERT表示技术提取文本中的每个词向量，然后过滤得到其中属于名词短语的词向量为文本特征Fp； 2多模态交互：使用文本特征FP作为卷积核在图像特征Fv上进行卷积得到目标实例的掩码M0； 3坐标引导聚合CGA：对于PNS任务，有L层CGA模块，对于第l层CGA，经过多头的MaskedCrossAttention得到输出Kl，再与图像特征Fv做卷积得到掩码Ml；其中，注意力的具体算法是使用文本特征Kl-1作为Query，使用图像特征Fv作为Key，在掩码Ml-1的约束下计算得到注意力权重，然后再将Kl-1作为Value和注意力权重相乘得到最终的输出Kl； 所述坐标引导聚合的具体步骤为： 对于PNS任务，有L层CGA模块，对于第l层CGA，经过多头的MaskedCrossAttention得到输出Kl，再于图像特征Fv做卷积得到掩码Ml；其中，注意力的具体算法是使用文本特征Kl-1作为Query，使用图像特征Fv作为Key，在掩码Ml-1的约束下计算得到注意力权重Aj； 其中，τ是控制的阈值，限制文本特征和视觉特征进行注意力交互的范围，从而避免无关的语义；Ml-1∈[0,1]N×H×W表示第层的掩码，和投影是权重矩阵，是尺度因子，j代表多头注意力中的第j个头h，共有8个头； 基于这些注意力的权重，将Kl-1作为Value和注意力权重相乘，聚合多个头的输出来更新第l层的核特征Kl； Kl＝FFNLN[Head1,...,Headh]WO+Kl-1 文本引导的动态特征核Kl在视觉特征Fv上进行卷积得到最终的掩码； Ml＝SigmoidKl*Fv 利用检测生成的框来约束分割，以帮助区分不同的实例； 4质心驱使定位BDL：对于PND任务，有L层BDL模块，对于第l层BDL，将第l-1层的图像特征Fv经过一个BottleNeck模块和Sigmoid函数，将图像特征图的通道数变为4，然后使用由步骤3得到的掩码图的质心坐标去索引这4张特征图上对应点的像素值，作为定位框的左、顶、右、底这四个相对质心的偏移量，得到最终的预测框； 5训练损失：由于NICE方法是一个统一全景叙事分割和全景检测任务的级联框架，所以在计算损失时，需要考虑分割损失和检测损失两部分；对于分割损失，使用BCE损失函数和Dice损失函数作为分割任务的目标函数；对于检测损失，使用SmoothL1损失函数和gIOU损失函数作为检测任务的目标函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。