深圳须弥云图空间科技有限公司袁子涵获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳须弥云图空间科技有限公司申请的专利垂直领域模型推理加速方法、装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118246551B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410309722.9,技术领域涉及:G06N5/04;该发明授权垂直领域模型推理加速方法、装置是由袁子涵;杜梦雪设计研发完成,并于2024-03-18向国家知识产权局提交的专利申请。
本垂直领域模型推理加速方法、装置在说明书摘要公布了:本申请涉及人工智能技术领域,提供了一种垂直领域模型推理加速方法、装置、电子设备及可读存储介质。该方法包括:获取目标文本;获取预先设置的文本库中目标文本对应的资料文本;根据目标文本和资料文本,建立前缀索引库;通过大语言模型对目标文本和资料文本进行推理,当推理的次数等于预设次数时,根据推理的结果确定匹配前缀;将匹配前缀与前缀索引库进行匹配,若匹配成功,则得到与匹配前缀的前缀一致的资料片段,作为目标资料片段;根据匹配前缀和目标资料片段将资料片段分解为推理序列;对推理序列进行并发推理,得到字符集;根据字符集,确定当前输出的文本。本申请解决了垂直领域模型推理过程的缓慢的技术问题。
本发明授权垂直领域模型推理加速方法、装置在权利要求书中公布了:1.一种垂直领域模型推理加速方法,其特征在于,包括: 获取目标文本; 获取预先设置的文本库中所述目标文本对应的资料文本; 根据所述目标文本和所述资料文本,建立前缀索引库,所述前缀索引库包括所述资料文本和所述目标文本对应的资料片段; 通过大语言模型对所述目标文本和所述资料文本进行推理,当推理的次数等于预设次数时,根据推理的结果确定匹配前缀,所述预设次数为正整数,所述推理的结果为所述预设次数内输出的全部目标字符; 将所述匹配前缀与所述前缀索引库进行匹配,若匹配成功,则得到与所述匹配前缀的前缀一致的所述资料片段,作为目标资料片段; 根据所述匹配前缀和所述目标资料片段将所述资料片段分解为推理序列; 对所述推理序列进行并发推理,得到字符集,所述字符集包括每个推理序列推理得到的字符; 根据所述字符集,确定当前输出的文本。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳须弥云图空间科技有限公司,其通讯地址为:518054 广东省深圳市南山区粤海街道海珠社区滨海大道3369号有线信息传输大厦25F2504;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。