买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学;桂林瑞威赛德科技有限公司申请的专利基于RoBERTa模型的电信诈骗文本分类检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119829766B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411890125.6，技术领域涉及：G06F16/353；该发明授权基于RoBERTa模型的电信诈骗文本分类检测方法是由秦兴国;张成;李俊;杨超;廖然;黄欣;葛祎昕;张慧琳设计研发完成，并于2024-12-20向国家知识产权局提交的专利申请。

本基于RoBERTa模型的电信诈骗文本分类检测方法在说明书摘要公布了：本发明提供一种基于RoBERTa模型的电信诈骗文本分类检测方法，通过采用深度学习和自然语言处理技术，基于RoBERTa模型的深度学习框架，构建了一种能够自动学习电信诈骗文本深层语义特征的分类模型，该模型的架构，包含多头注意力、残差连接、全连接层分类三部分。在模型训练过程中结合了交叉熵损失函数和不一致性损失函数，旨在同时优化分类准确性和模型鲁棒性。交叉熵损失函数有助于提升分类精度，而不一致性损失函数则增强了模型对异常或不确定文本的辨识能力，从而有效防止了过拟合现象，提高了模型在复杂场景中的适应性和稳定性。使用本方法能够有效地提升对电信诈骗文本的分类准确性和模型鲁棒性。

本发明授权基于RoBERTa模型的电信诈骗文本分类检测方法在权利要求书中公布了：1.基于RoBERTa模型的电信诈骗文本分类检测方法，其特征在于，包括以下步骤： 1构建电信诈骗数据集，对数据集进行数据预处理，清洗无关字符，进行分词和标准化处理，以及对数据中涉及隐私的信息做隐秘处理，对数据集中的文本进行标签标注，区分正常文本与诈骗文本，并将处理好的数据集划分为训练集和测试集； 2使用预训练的RoBERTa模型对输入文本进行编码，将文本输入到RoBERTa模型中，提取每个token的词向量表示，将[CLS]向量作为整体文本的初始表示； 所述预训练的RoBERTa模型采用hflchinese-roberta-wwm-ext的预训练模型，是哈工大和BAAI共同训练的中文预训练模型，基于RoBERTa架构，并引入了WholeWordMasking策略，模型采用了12层Transformer编码器，隐藏层维度为768维； 在模型训练过程中结合了交叉熵损失函数和不一致性损失函数； 3将生成的词向量输入到模型的多头注意力层，以捕捉文本中的长程依赖关系和重要特征； 所述多头注意力层采用十二头注意力，多头注意力机制能够关注不同位置的语义信息，有助于提高模型对诈骗文本中关键词汇或短语的敏感性； 多头注意力层的公式如下： MultiHeadQ,K,V＝Concathead1,head2,…,head12WO headi＝AttentionQWi Q,KWi K,VWi V,i＝1,…,12 其中，Q、K和V分别表示查询、关键字和值，Wi Q、Wi K和Wi V分别表示相应的权重矩阵，WO表示输出权重矩阵，headi表示第i个头的输出； 4在多头注意力输出后，进行平均池化操作，将每个token的特征向量进行平均，以获得文本的全局表示； 5将池化后的输出与模型的一个全连接层相连，得到一个768维的数据，同时再接上一个dropout层，通过残差连接相加，再进行LayerNormalization，以确保模型稳定性并加快收敛速度； 残差连接的公式为： Xl+1＝xl+Fxl,Wl 其中，xl是第l层的输入，xl+1是第l+1层的输入，Fxl，Wl是第l层的残差函数； 6将经过残差连接和归一化后的特征输入全连接层，最后通过Softmax层计算每个类别的概率，从而完成诈骗文本与正常文本的分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学;桂林瑞威赛德科技有限公司，其通讯地址为：541004 广西壮族自治区桂林市七星区金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。