买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学申请的专利一种基于预训练的孕检记录表征学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114496266B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111066452.6，技术领域涉及：G16H50/50；该发明授权一种基于预训练的孕检记录表征学习方法是由王静远;任厚兴设计研发完成，并于2021-08-10向国家知识产权局提交的专利申请。

本一种基于预训练的孕检记录表征学习方法在说明书摘要公布了：本发明公开了一种基于预训练的孕检记录表征学习方法，包括以下步骤：S1、修改Transformer编码器中的自注意力机制，构建孕检记录表征模型；S2、建立相似性预测任务；S3、建立掩盖预测任务；S4、建立合理性检查任务；S5、基于步骤S2‑S4所述的任务进行模型预训练，并对下游任务进行微调。通过引入Transformer编码器来扩展时间感知的多头注意力机制，可有效处理不规则的时间间隔；过三个特殊的预训练任务对提出的神经网络体系结构进行有效的训练，解决数据不足、数据不完整和短序列问题。

本发明授权一种基于预训练的孕检记录表征学习方法在权利要求书中公布了：1.一种基于预训练的孕检记录表征学习方法，其特征在于，包括以下步骤： S1、修改Transformer编码器中的自注意力机制，构建孕检记录表征模型； 标准Transformer编码器无法反映时间间隔大小，因此引入一个完全连接的层来捕获时间跨度信息，则修改后的Transformer编码器的自注意力机制为： 其中，Wτ∈R1×h，|·|为元素绝对值，使用|ui-uj|将时间间隔信息纳入时间意识注意事项中； TSA的输入包括查询Q，秘钥K和价值V，则多头注意力机制TSA表示为： TSAQ，K，V，Wτ，τ＝softmaxAT×V 时间感知多头注意力机制将多个单独的TSA进行拼接，并将其输入到全连接网络中： G＝Wo×G1||G2||…||Gn 其中，“||”表示向量拼接，Wo∈Rh×nh，采用层归一化和残差连接，一个前馈层分别处理每次访问的隐藏状态ht，具体为： st＝W2×ReLUW1×gt+b1+b2 其中，W1，W2∈Rh×h，b1，b2∈Rh，ReLUx＝max0，x，通过将残余连接和层归一化，得到孕检记录表征的最终表示： S＝s1，...，sT，s*； S2、建立相似性预测任务； S3、建立掩盖预测任务； S4、建立合理性检查任务； S5、基于步骤S2-S4所述的任务进行模型预训练，并对下游任务进行微调。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。