买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东微笑数据科技有限公司申请的专利一种基于扩散模型和自监督异常值检测的数据整合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119598409B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510160162.X，技术领域涉及：G06F18/25；该发明授权一种基于扩散模型和自监督异常值检测的数据整合方法是由杨传彬;匡亚洲;许聪;张爱华;李国开;王执祥设计研发完成，并于2025-02-13向国家知识产权局提交的专利申请。

本一种基于扩散模型和自监督异常值检测的数据整合方法在说明书摘要公布了：本发明公开了一种基于扩散模型和自监督异常值检测的数据整合方法，涉及大数据处理技术领域，包括以下步骤：建立统一的元数据管理系统；通过收集和维护各数据源的元数据，确保每个数据字段的意义、格式和范围得到准确描述和理解；通过数据标准化操作实现数据统一格式；标准化方法包括定义统一的数据格式和标准；建立数据转换和映射规则，将异构数据源中的字段映射到统一的数据模型中；基于扩散模型构建数据补全方案，对缺失值进行填充；使用自监督异常检测算法，对异常值进行检测并删除，有效解决了现有技术中需要耗费大量精力进行统一和转换各系统数据，同时因数据质量问题清洗过程复杂且耗时的问题，为多源数据融合赋能提供高质量支撑。

本发明授权一种基于扩散模型和自监督异常值检测的数据整合方法在权利要求书中公布了：1.一种基于扩散模型和自监督异常值检测的数据整合方法，其特征在于，包括以下步骤： S1、建立统一的元数据管理系统；通过收集和维护各数据源的元数据，确保每个数据字段的意义、格式和范围得到准确描述和理解； S2、通过数据标准化操作实现数据统一格式；标准化方法包括定义统一的数据格式和标准； S3、建立数据转换和映射规则，将异构数据源中的字段映射到统一的数据模型中； S4、基于扩散模型构建数据补全方案，对缺失值进行填充； S41、对缺失值进行填充，扩散模型的基本原理是将数据逐步加入噪声，直到其接近一个简单的分布；在此过程中，给定初始数据X0，在第t步的噪声数据Xt，表示如下，; 其中，是控制噪声增加速率的时间步长，I是单位矩阵，用于定义高斯分布的协方差结构，N是高斯分布；q表示在给定前一步状态xt‑1的条件下，当前步骤xt的条件概率分布； S42、对数据进行逆向处理，从噪声数据xt 恢复到原始数据X0，此过程中的每一步描述为一个马尔可夫链，表示如下，; 其中，是模型预测的均值参数，通过模型不断学习进行调整，是协方差矩阵，通过模型不断学习进行调整，是逆向过程的条件概率分布；N是高斯分布； S43、 在扩散模型的训练过程中，使用变分下界作为损失函数，表示为，; 其中，L是扩散模型的总体损失函数，目标是最小化该损失以优化模型参数；T是扩散过程的总时间步数；Eq是分布q下的期望，DEL是Kullback‑Leibler散度，用于衡量两个分布之间的差异，q为正向过程中的条件分布，为反向过程中的条件分布； S5、使用自监督异常检测算法，对异常值进行检测并删除； S51、对输入数据进行标准化和归一化处理，消除不同特征之间的量纲差异，使得模型在训练过程中更容易学习到数据的本质特征，用于提高模型的鲁棒性，确保数据一致性和质量； S52、将数据划分为正样本对和负样本对，训练模型提取有意义的特征表示；在训练过程中，使用NT‑Xent损失函数来优化特征提取器，; 其中，zi和zj是正样本对的特征向量，表示经过编码器提取的特征，是温度参数，用于缩放向量内积，N是批次中的样本数量，K是负样本的索引，批次中除样本i之外的所有样本； 是指数函数，用于将相似度分数转换为正数；表示所有负样本对的相似度之和； S53、在特征提取之后，对特征进行聚类分析，将特征空间划分为多个聚类中心； S54、对于每个测试样本，计算其与各聚类中心的欧几里得距离，并基于距离评估其异常性，计算公式为，; 其中，z是测试样本的特征向量，是聚类中心； S55、 通过距离计算评分，根据实际情况设定阈值后再判断异常值，并进行删除。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东微笑数据科技有限公司，其通讯地址为：250000 山东省济南市高新区舜华路街道新泺大街1768号齐鲁软件园大厦B座B区四层B402房间；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。