买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四维世景科技(北京)有限公司申请的专利面向小样本场景的遥感大模型增量预训练优化系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121330426B 。

龙图腾网通过国家知识产权局官网在2026-03-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511886446.3，技术领域涉及：G06V10/774；该发明授权面向小样本场景的遥感大模型增量预训练优化系统及方法是由李克鑫;朱荣华;郑智辉;余柯;丁彭父乐设计研发完成，并于2025-12-15向国家知识产权局提交的专利申请。

本面向小样本场景的遥感大模型增量预训练优化系统及方法在说明书摘要公布了：本发明公开了遥感图像处理与深度学习技术领域的面向小样本场景的遥感大模型增量预训练优化系统及方法，包括：获取遥感大模型的初始参数以及特定任务的小样本数据集；在遥感大模型特征提取网络中引入调制自注意力机制后，基于所述小样本数据集对遥感大模型进行微调，得到微调后的模型参数；采用动态参数插值方法对初始参数与微调后的模型参数进行插值处理，平衡新旧任务权重；通过知识保留机制计算原始任务损失与特定任务损失的加权总损失，保留模型在原始任务上的知识；基于加权总损失对插值处理后的遥感大模型进行增量预训练。本发明解决了现有技术中在小样本场景下模型微调易过拟合、增量预训练易遗忘原始知识的问题。

本发明授权面向小样本场景的遥感大模型增量预训练优化系统及方法在权利要求书中公布了：1.面向小样本场景的遥感大模型增量预训练优化方法，其特征是，包括： 获取遥感大模型的初始参数以及特定任务的小样本数据集； 在遥感大模型特征提取网络中引入调制自注意力机制后，基于所述小样本数据集对遥感大模型进行微调，得到微调后的模型参数，其中：所述引入调制自注意力机制包括： 通过所述调制自注意力机制中的自注意力机制，采集原始特征图中任意两个位置之间的交互信息，获得加权特征图； 对原始特征图进行展平操作，然后通过权重矩阵和Softmax函数学习特征空间不同位置的权重信息图，最后将权重信息图恢复为原始特征图大小，得到位置信息特征图； 基于所述加权特征图和位置信息特征图计算得到最终特征图，表达式为： =； 其中，MAx为最终特征图，为加权特征图，为位置信息特征图，表示残差连接； 采用动态参数插值方法对初始参数与微调后的模型参数进行插值处理，平衡新旧任务权重，所述动态参数插值方法包括：根据新旧任务的重要性权重，计算初始参数与微调后模型参数的加权平均值作为插值后的参数，所述重要性权重根据任务的实际需求动态调整，所述动态参数插值的计算公式为： ； 其中，为插值后的参数，为初始参数，为微调后的模型参数，为新旧任务的权重系数且； 通过知识保留机制计算原始任务损失与特定任务损失的加权总损失，保留模型在原始任务上的知识，所述知识保留机制包括：在增量预训练过程中，引入原始任务的验证数据集，计算模型在原始任务上的损失，并将其与特定任务的损失进行加权求和，作为加权总损失进行反向传播优化，所述加权总损失的计算公式为： ； 式中：Ltotal是知识保留机制的加权总损失；为损失权重系数且；n、m分别是原始任务和特定任务的样本数量；Pxi为原始任务预测值；Pyi为特定任务预测值；Oxi为原始任务真实值；Oyi为特定任务真实值；为基于原始任务真实值通过最优线性拟合得到的无偏预测，为基于特定任务真实值通过最优线性拟合得到的无偏预测； 基于加权总损失对插值处理后的遥感大模型进行增量预训练，直至模型在特定任务验证集上性能稳定，输出优化后的模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四维世景科技(北京)有限公司，其通讯地址为：102299 北京市昌平区北七家镇未来科学城南区英才南一街3号院1号楼9层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。