买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川大学申请的专利一种基于连续与离散混合表征的预训练模型及其训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116304678B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310083395.5，技术领域涉及：G06F18/214；该发明授权一种基于连续与离散混合表征的预训练模型及其训练方法是由雷文强;黄晨;吕建成设计研发完成，并于2023-02-08向国家知识产权局提交的专利申请。

本一种基于连续与离散混合表征的预训练模型及其训练方法在说明书摘要公布了：本发明公开了一种基于连续与离散混合表征的预训练模型及其训练方法，所述预训练模型由多个支持连续与离散表征的新型Transformer架构组成，该架构包括：连续语义表征获取模块，用于获取连续语义表征；离散语义表征获取模块，用于获取离散语义表征；融合模块，用于将所述连续语义表征与所述离散语义表征进行融合，获得混合语义表征；输出模块，用于输出上述三种语义表征。本发明能够解决现有预训练模型对数据噪声敏感的问题；通过离散化表征降低大规模预训练模型的参数空间，为大规模预训练模型的原型设计提供新思路；同时，也为大规模预训练模型的应用也提供新方向，输出结构化知识图表征，增加模型的可解释性，推动基于离散表征的逻辑推理的发展。

本发明授权一种基于连续与离散混合表征的预训练模型及其训练方法在权利要求书中公布了：1.一种基于连续与离散混合表征的预训练模型，其特征在于，由多个支持连续与离散表征的新型Transformer架构组成，所述新型Transformer架构包括： 连续语义表征获取模块，用于获取连续语义表征； 离散语义表征获取模块，用于获取离散语义表征；所述离散语义表征获取模块包括分解模块、离散化模块以及组合模块； 所述分解模块用于将所述连续语义表征分解为多个义原表征；所述分解模块基于稀疏注意力机制以动态获取义原表征，所述义原表征的个数通过所述稀疏注意力机制的输出自动确定，非零值的注意力分数所对应的义原表征将被自动选择； 所述离散化模块用于将多个所述义原表征进行离散化，获得离散化后的义原表征；所述离散化模块采用向量量化变分自动编码器将输入的每一个义原表征映射为离散表征； 所述组合模块用于所述离散化后的义原表征进行加权组合，获得离散语义表征；所述组合模块采用注意力机制实现离散化后的义原表征之间的加权组合； 融合模块，用于将所述连续语义表征与所述离散语义表征进行融合，获得混合语义表征； 输出模块，用于输出所述连续语义表征、离散语义表征以及所述混合语义表征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610044 四川省成都市一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。