买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利一种针对点云大模型的多模态动态微调方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119399577B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411424042.8，技术领域涉及：G06V10/774；该发明授权一种针对点云大模型的多模态动态微调方法及系统是由逄淑超;顾翔;杜安安;王艺菲;苗吉祥设计研发完成，并于2024-10-12向国家知识产权局提交的专利申请。

本一种针对点云大模型的多模态动态微调方法及系统在说明书摘要公布了：本发明公开了一种针对点云大模型的多模态动态微调方法及系统，基于目标大模型，包括：将点云数据转换成点云序列和2D深度图，将文本数据添加占位符，供后续步骤使用；构建动态多模态信息收集器，对预处理得到的2D深度图和文本进行处理，收集来自文本领域和2D图像领域的信息；构建多模态提示令牌生成器，基于点云序列和多模态信息收集器收集到的信息，生成适用于目标大模型的点云编码器的动态提示词参数；将动态多模态信息收集器和多模态提示令牌生成器嵌入目标大模型，使用数据集，通过交叉熵损失函数对目标大模型进行训练调整。本发明通过动态挖掘点云数据的多模态信息，实现对模型的精准微调，从而显著提升模型在各种下游任务上的性能和泛化能力。

本发明授权一种针对点云大模型的多模态动态微调方法及系统在权利要求书中公布了：1.一种针对点云大模型的多模态动态微调方法，基于目标大模型，其特征在于，包括： 步骤S1，训练数据预处理：将点云数据转换成点云序列和2D深度图，将文本数据添加占位符； 步骤S2，构建动态多模态信息收集器，对步骤1预处理得到的2D深度图和文本进行处理，收集来自文本领域和2D图像领域的信息； 步骤S3，构建多模态提示令牌生成器，基于步骤S1的点云序列和步骤S2多模态信息收集器收集到的信息，生成适用于目标大模型的点云编码器的动态提示词参数； 步骤S4，将动态多模态信息收集器和多模态提示令牌生成器嵌入目标大模型，使用数据集，通过交叉熵损失函数对目标大模型进行训练调整； 所述动态多模态信息收集器包括2D深度图收集模块和文本模态信息收集模块，所述2D深度图收集模块采用经过大规模预训练的ViT架构的视觉编码器，对2D深度图进行特征提取，将2D深度图转换成图像特征序列，所述2D深度图收集模块分别与多模态提示令牌生成器和目标大模型的预训练文本编码器连接；所述文本模态信息收集模块采用目标大模型的文本嵌入层，获取词嵌入向量，并在词嵌入向量末尾对占位符空间进行替换，嵌入可学习的提示令牌，得到嵌入可学习提示令牌的词嵌入向量featText，所述文本模态信息收集模块分别与多模态提示令牌生成器和目标大模型的预训练图像编码器连接； 所述多模态提示令牌生成器对S2步骤得到的文本模态下的可学习提示令牌和2D图像模态下的图像特征序列，分别使用一层全连接层，转换成与步骤S1生成的点云序列一致的形状，覆盖添加到点云序列末尾，得到融合2D图像模态知识和文本知识的点云序列 所述交叉熵损失函数为： 其中，Cross_entropy为交叉熵损失函数，T为点云对应的分类标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。