杭州电子科技大学徐海涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利一种基于动态预算分配的大模型提示词压缩方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119538917B 。
龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411587457.7,技术领域涉及:G06F40/284;该发明授权一种基于动态预算分配的大模型提示词压缩方法是由徐海涛;胡永鑫;陈婧设计研发完成,并于2024-11-08向国家知识产权局提交的专利申请。
本一种基于动态预算分配的大模型提示词压缩方法在说明书摘要公布了:本发明提出了一种基于动态预算分配的大模型提示词压缩方法。旨在优化大语言模型的提示词长度,以提高模型的计算效率并降低计算成本。通过动态预算分配器和词汇选择器的协同工作,能够在保证语义完整性的前提下,对提示词进行压缩。首先,动态预算分配器基于每个句子与问题的相关性,动态分配每个句子的词汇保留预算;然后,词汇选择器通过策略网络计算每个词汇的保留概率,优先保留关键词汇。通过奖励函数模块评估压缩提示的忠诚度和相似度,指导策略梯度更新网络参数。该方法显著提升大语言模型的性能,适用于多轮对话、长文本分析等场景中的提示优化。
本发明授权一种基于动态预算分配的大模型提示词压缩方法在权利要求书中公布了:1.一种基于动态预算分配的大模型提示词压缩方法,其特征在于,包括如下步骤: S1获取待压缩的提示词,所述待压缩的提示词由提问部分和演示部分组成;提问部分为待压缩的提示词中的最后一个核心问句,待压缩的提示词中除提问的其他部分为演示部分; S2构建基于注意力机制的词汇选择器,用所述词汇选择器计算待压缩的提示词中每个词汇的保留概率Pi; 所述词汇选择器包括DistilRoBERTa模型和线性分类器; S3构建用于分配句子保留预算的动态预算分配器: 1将所述待压缩的提示词中的演示部分表示成由若干个句子组成的集合:{sen1,sen2,sen3,...,senn},每个所述句子通过句号、问号和感叹号中的任意一个结尾;设定目标压缩率R,所述目标压缩率R表示演示部分压缩后允许保留的词汇数Btotal与演示部分压缩前的原始词汇数Ntotal的比例; 2使用字符重叠度策略和句嵌入相似度策略计算每个句子与提问部分的相关性得分Scorei; 3利用相关性得分Scorei进行保留预算的迭代分配,包括以下步骤: Ⅰ初始分配:根据每个句子的相关性得分Scorei,按如下公式计算每个句子初始分配的预算比例: 随后,根据总预算Btotal,为每个句子分配相应的词汇预算Bi: 其中,min表示取最小值函数,Bi是分配给句子seni的保留词汇数,|seni|表示句子seni的原有词汇数; Ⅱ使用迭代算法对分配结果进行微调;如果则将剩余的预算按照相关性得分从高到低的顺序依次分配给相关性最高的句子;如果则将句子按照相关性排序,从相关性得分最低的句子开始,逐步扣减分配给句子的预算Bi,直到满足总预算要求;得到每个句子的保留预算,每个句子的保留预算表示在压缩过程中每个句子应保留的词汇数; 结合S2得到的每个词汇的保留概率Pi,对所述演示部分的每个句子按照概率从高到低的顺序选择保留词汇,直到达到句子的词汇保留预算Bi;不对提问部分进行压缩;将压缩后的演示部分与提问部分进行组合,得到压缩后的提示词; 步骤S3中,所述字符重叠度策略是指使用一元字符重叠函数fincseni,que计算每个句子seni与提问部分que在字符层级上的重叠度,公式如下: 其中,|common_charsseni,que|表示第i个句子和提问部分的重叠字符集合的长度,|seni|表示组成第i个句子的所有字符集合的长度; 步骤S3中,所述句嵌入相似度策略是指使用Sentence-Transformers库中的all-MiniLM-L6-v2模型,将每个句子seni和提问部分que转换为嵌入向量,然后通过余弦相似度计算它们的向量相似度simseni,que; 步骤S3中,所述使用字符重叠度策略和句嵌入相似度策略计算每个句子与提问部分的相关性得分Scorei,还包括以下步骤: 将上述两种策略进行加权平均,得到每个句子的最终相关性得分Scorei: Scorei=ω1·fincseni,que+ω2·simseni,que 其中ω1和ω2为可调的预设权重参数,以适应不同任务对字符匹配和语义相似度的不同需求。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市钱塘区白杨街道2号大街1158号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励