买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利一种基于小样本快速稀疏化大型语言模型的二阶段稀疏方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119623534B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411694015.2，技术领域涉及：G06N3/0495；该发明授权一种基于小样本快速稀疏化大型语言模型的二阶段稀疏方法是由纪荣嵘;杨潇;晁飞设计研发完成，并于2024-11-25向国家知识产权局提交的专利申请。

本一种基于小样本快速稀疏化大型语言模型的二阶段稀疏方法在说明书摘要公布了：本发明公开了一种基于小样本快速稀疏化大型语言模型的二阶段稀疏方法，包括以下步骤：S1、掩码初始化：基于多种用于度量参数的重要性指标，采用多种掩码初始化方法初始化语言模型的掩码；S2、掩码重排序：基于小样本校准集和直通估计器，对掩码进行重排序；S3、掩码调节：基于步骤S2的小样本校准集和重排序掩码矩阵，以原始模型作为教师模型，将稀疏模型作为学生模型，实现稀疏化前后大型语言模型在时间维度上的块级自蒸馏过程，得到稀疏模型；该方法在实现相当性能的同时，消耗更少的计算能力、使用更小的数据集、占用更少的GPU内存，并且不影响稀疏模型的推理速度，具有显著的实用价值和应用前景。

本发明授权一种基于小样本快速稀疏化大型语言模型的二阶段稀疏方法在权利要求书中公布了：1.一种基于小样本快速稀疏化大型语言模型的二阶段稀疏方法，其特征在于，包括以下步骤： S1、掩码初始化：基于多种用于度量参数的重要性指标，采用多种掩码初始化方法初始化语言模型的掩码； S2、掩码重排序：基于小样本校准集和直通估计器，对掩码进行重排序； 步骤S2的具体过程为： S21、在掩码重排序阶段，以逐块为基础进行操作；给定要稀疏化的块Q、稀疏率r和通过将掩码初始化方法应用于块内的每个运算符op获得的掩码矩阵Mop，重排序操作将前一个块的稀疏激活作为当前块的输入； S22、使用一个小样本校准集，冻结大型语言模型内的所有参数，并将浅稀疏块输出的稀疏激活X'输入未稀疏化的块Q，以获得密集输出激活Ydense； S23、对块Q执行稀疏化操作以获得伪稀疏块Q'，伪稀疏化过程包括从块内所有运算符的掩码矩阵中收集所有掩码值按值排序，并将低于阈值的 个掩码值设置为0，其余掩码设置为1，实现掩码二值化；其中，r表示稀疏率，表示掩码值的数量； S24、将稀疏激活X'输入到伪稀疏块Q'中进行前向传播，得到稀疏输出激活Ysp；在伪稀疏块Q'的每次训练迭代的前向过程中，对块内所有运算符的掩码矩阵中的所有掩码值进行排序和二值化，生成仅包含{0,1}元素的中间掩码矩阵，中间掩码用于计算M⊙W以进行前向传播；其中，M是掩码矩阵的通用符号；⊙表示矩阵之间的Hadamard积；W表示权重矩阵； S25、计算稀疏输出激活Ysp和密集输出激活Ydense之间的均方误差作为损失L，并通过反向传播获得相对于掩码值的梯度以更新掩码值，得到重排序掩码矩阵；其中，采用直通估计器，忽略M⊙W操作的梯度并直接反向传播输出梯度，直通估计器的计算公式为： 其中，表示损失函数对于网络输出的梯度，表示损失函数对于掩码矩阵的梯度，表示激活相对于掩码矩阵的梯度； S3、掩码调节：基于步骤S2的小样本校准集和重排序掩码矩阵，以原始模型作为教师模型，将稀疏模型作为学生模型，将掩码重排序中使用的小样本校准集作为教师模型和学生模型的输入，并采用小样本分块蒸馏方法，通过逐块最小化重构误差来调节掩码值，优化每个稀疏操作符的非零掩码元素，实现稀疏化前后大型语言模型在时间维度上的块级自蒸馏过程，得到稀疏模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。