东南大学孙立博获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东南大学申请的专利一种基于深度学习和视觉大模型的猪只生长状态评估方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120148070B 。
龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510249879.1,技术领域涉及:G06V40/10;该发明授权一种基于深度学习和视觉大模型的猪只生长状态评估方法是由孙立博;张泽昀;常晓昱;秦文虎设计研发完成,并于2025-03-04向国家知识产权局提交的专利申请。
本一种基于深度学习和视觉大模型的猪只生长状态评估方法在说明书摘要公布了:本发明提供了一种基于深度学习和视觉大模型SegmentAnything的猪只生长状态评估方法,涉及到深度学习技术领域和当下火热的视觉大模型领域。本发明针对猪只频繁粘连遮挡的情况,将YOLOv5中的NMS替换成了soft‑NMS。利用改进后的YOLOv5与ByteTrack进行结合对猪只进行跟踪,然后创新性地以猪只追踪信息为提示,利用视觉大模型SegmentAnything得到猪只逐帧逐ID的掩模。接着,将猪只掩模输入到猪只生长健康评估模型中,进行二值化掩模特征提取,提取的特征经过深度回归预测网络后,经过均值化操作后得到猪只生长状态分类结果,从而判断猪只是否健康生长。本发明对设备要求较低,采用常规彩色相机,对算力要求较低,设备价格和低廉,能在成本较低的前提下很好地提高养猪业决策的科学性和养殖效率。
本发明授权一种基于深度学习和视觉大模型的猪只生长状态评估方法在权利要求书中公布了:1.一种基于深度学习和视觉大模型的猪只生长状态评估方法,其特征在于,将目标追踪、实例分割与猪只生长状态评估相结合,实现复杂养殖场景下的个体猪只健康状态监测,包括以下步骤: 步骤S1、使用在线摄像设备,获取群养猪舍环境中不同时间段、不同密集程度的群养猪只活动视频; 步骤S2、利用视频抽帧技术,获取并整理猪只活动图片;按照视频流图片帧的顺序对图片中的猪只进行标注,构建猪只追踪数据集,将数据集划分为训练集、验证集和测试集; 步骤S3、针对猪只遮挡、粘连的复杂场景设计基于YOLOv5改进后处理技术的YOLOv5-SNMS-Byte模型,从而对猪只进行追踪,将猪只追踪框和猪只ID信息作为SAM的提示,构建猪只实例分割模型,生成与输入提示相匹配的二值化掩模; 步骤S4、使用猪只追踪数据集对YOLOv5-SNMS-Byte模型进行训练,得到YOLOv5-SNMS-Byte模型的最佳权重参数; 步骤S5、设计基于二值化掩膜特征提取和线性回归网络的猪只生长状态评估模型; 步骤S6、基于S1中采集到的视频,构建猪只生长状态数据集,并对S5中的猪只生长状态评估模型进行训练,得到猪只生长状态评估模型的最佳权重参数; 步骤S7、把视频输入到步骤S3中构建的猪只实例分割模型中,将该模型输出的猪只逐帧逐ID的掩模输入至步骤S6构建的最佳权重模型的猪只生长状态评估模型中,输出每头猪只的生长状态分类结果,包括正常、畸形、营养不良; 所述步骤S3中具体步骤包括: S3-1、将视频流逐帧输入到YOLOv5的特征提取网络中,提取多尺度特征图;通过网络中的若干卷积层、池化层和特征融合操作,生成高维特征图; S3-2、基于特征图,网络对预定义的候选框进行回归操作,调整候选框的位置和尺寸,使其更加准确地覆盖目标区域;在此过程中,生成了猪只的检测候选框及其对应的分类分数,表示候选框中目标的置信度和类别概率; S3-3、对猪只检测候选框进行筛选时,将传统的非极大值抑制NMS替换为Soft-NMS;其做法是:对于每个候选框,按照候选框分数从高到低排序;遍历每个候选框,动态调整其他候选框的分数;对分数低于阈值的候选框进行过滤,保留分数较高且有较好空间分布的检测框;最后候选框筛选会保留分类分数最高的框,生成最终猪只检测框;检测框包含的信息有目标类别、分类概率、以及边界框的具体位置坐标; S3-4、将步骤S3-3中获得的猪只检测框作为输入传递给ByteTrack算法,实现对各目标的跨帧关联与跟踪;其过程是:首先将检测分为高分检测High和低分检测Low;随后,采用卡尔曼滤波器预测Tracker中每条轨迹在当前帧内的新位置;第一次关联是通过将高分检测High与Tracker中的20条轨迹传感器进行匹配来实现的;然后将不匹配的检测和轨迹分别分配给置信度较高的检测框集合Dremain和置信度较低的检测框集合Tremain;在低分检测Low和Tremain中的不匹配轨迹之间进行第二次关联;在这两个关联步骤之后,任何剩余的不匹配检测都被视为背景,因此会被删除;至于第二次关联后的不匹配轨迹Tre-remain,它们会被保留预定义数量的帧,通常为30帧,然后再丢弃;最后,Dremain中未匹配的高分检测被初始化为新的轨迹; S3-5、将通过ByteTrack算法获得的猪只追踪边界框作为提示信息,输入到视觉大模型Segment-Anything中,使用猪只追踪算法生成的追踪框作为输入提示,每个框由左上角坐标x1,y1和右下角坐标x2,y2表示,包含猪只的ROI和对应ID信息,提示解码器将这些提示信息x1,y1,x2,y2和ID转换为嵌入向量表示,并使用Transformer模块进一步增强其表征能力与此同时,图像被输入到基于SwinTransformer的图像编码器提取局部和全局特征;掩模解码器通过从提示信息的嵌入向量表示和图像特征中提取上下文信息,利用交叉注意力机制,将图像编码器提取的图像特征与提示编码器输出的提示特征相结合,逐步生成与输入提示相匹配的目标掩模。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东南大学,其通讯地址为:214082 江苏省无锡市滨湖区状元道5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励