买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中电信人工智能科技(北京)有限公司申请的专利一种模型推理验证方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119338007B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411515559.8，技术领域涉及：G06N5/04；该发明授权一种模型推理验证方法、装置、电子设备及存储介质是由王鑫;赵宇;宋双永;何忠江;李学龙;李永翔;蒲璐汶;张照西设计研发完成，并于2024-10-28向国家知识产权局提交的专利申请。

本一种模型推理验证方法、装置、电子设备及存储介质在说明书摘要公布了：本申请公开了一种模型推理验证方法、装置、电子设备及存储介质，所述方法包括：获取文本提示词；利用大模型对所述文本提示词进行动态剪枝推理，生成多个候选文本序列；根据各所述候选文本序列，建立对应的候选序列组合树；利用所述大模型对所述候选序列组合树进行树形解码，确定树形解码输出序列；根据所述树形解码输出序列，对各所述候选文本序列进行一致性验证，从多个所述候选文本序列中确定最优文本序列。本申请能够实现模型推理验证，引入动态剪枝推理，减少模型验证次数，提高模型推理验证效率，提升模型推理效果，提高模型推理速度，可广泛应用于大模型应用技术领域。

本发明授权一种模型推理验证方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种模型推理验证方法，其特征在于，所述方法包括以下步骤： 获取文本提示词； 利用大模型对所述文本提示词进行动态剪枝推理，生成多个候选文本序列；所述大模型包括多头注意力机制网络和树状注意力机制网络； 根据各所述候选文本序列，建立对应的候选序列组合树； 利用所述大模型对所述候选序列组合树进行树形解码，确定树形解码输出序列，具体地，通过所述树状注意力机制网络对所述候选序列组合树进行树形解码； 根据所述树形解码输出序列，对各所述候选文本序列进行一致性验证，从多个所述候选文本序列中确定最优文本序列； 所述利用大模型对所述文本提示词进行动态剪枝推理，生成多个候选文本序列，具体包括： 对所述文本提示词进行文本字符划分，确定各文本字符位置和各所述文本字符位置对应的单位文本； 将各所述文本字符位置对应的单位文本输入至所述大模型中包含的多头注意力机制网络，输出各所述单位文本对应的多个推理文本及各所述推理文本对应的注意力累积概率； 根据各所述单位文本所对应的各所述推理文本对应的所述注意力累积概率，动态确定各所述单位文本对应的采样阈值，并从多个所述推理文本中确定与所述采样阈值对应的多个候选推理文本，实现动态剪枝处理； 根据各所述单位文本对应的多个所述候选推理文本和所述文本字符位置，进行文本排列组合，生成多个所述候选文本序列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中电信人工智能科技(北京)有限公司，其通讯地址为：100032 北京市西城区西四北大街156、158、160号2幢1至2层2-6、2-9内01；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。