买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于预训练模型的金融文本数据分类方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119293250B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411436815.4，技术领域涉及：G06F16/353；该发明授权一种基于预训练模型的金融文本数据分类方法及装置是由刘健;陈屹男;黄步添;任奎设计研发完成，并于2024-10-15向国家知识产权局提交的专利申请。

本一种基于预训练模型的金融文本数据分类方法及装置在说明书摘要公布了：本发明公开了一种基于预训练模型的金融文本数据分类方法及装置，应用于数据分类技术领域。该方法首先通过对金融文本数据进行预处理，构建含分类标识的数据，其中，所述分类标识的数量不少于一。接着，构建基于预训练模型BERT的数据分类模型，通过子网络微调方法利用预处理训练数据对模型进行训练。最后，利用训练好的数据分类模型对待分类的金融文本数据进行分类。本发明通过优化微调算法，不仅提高了金融文本数据分类的效率，同时增强了训练模型的精度，确保了分类结果的准确性，可以满足实际应用中的准确性要求。

本发明授权一种基于预训练模型的金融文本数据分类方法及装置在权利要求书中公布了：1.一种基于预训练模型的金融文本数据分类方法，其特征在于，包括以下步骤： 1通过对金融文本数据进行预处理，构建含分类标识的数据作为训练数据，其中，所述分类标识的数量不少于一； 2使用训练数据训练基于预训练模型BERT的数据分类模型，在后向传播过程中，通过子网络微调方法对模型进行训练，包括： 2.1初始化参数：设置学习率，概率p，初始预训练模型权重以及AdamW优化器的超参数和，其中和是指数衰减率，用于计算梯度的一阶和二阶矩估计； 2.2计算梯度：在第t次迭代中，计算当前模型参数对应的损失函数关于参数的梯度，其中是第t次迭代后的模型权重，是以为参数的损失函数； 2.3生成子网络梯度掩码：在第t次迭代时，生成一个0-1掩码矩阵，该掩码矩阵的元素从具有概率p的伯努利分布中随机抽取，用于选择性地更新模型参数； 2.4应用梯度掩码：将梯度与3.3中生成掩码矩阵进行Hadamard乘积，得到掩码后的梯度，使得梯度矩阵仅保留掩码矩阵中对应为1的元素； 2.5更新一阶矩估计：； 2.6更新二阶矩估计：； 2.7偏差校正：对一阶矩估计和二阶矩估计进行偏差校正，得到校正后的一阶矩估计和二阶矩估计； 2.8更新模型权重：根据校正后的一阶矩估计和二阶矩估计，以及学习率，更新模型权重； 2.9迭代训练：重复步骤2.2~步骤2.8，直到模型收敛或达到预设的迭代次数； 2.10微调训练完成：在微调过程中，通过掩码矩阵的选择性更新，实现了对模型权重的更新； 3训练好的数据分类模型用于对待分类的金融文本数据进行分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。