合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)何凯旋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利一种实现注意力加权求和的硬件加速器及其运行方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119476380B 。
龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411477122.X,技术领域涉及:G06N3/063;该发明授权一种实现注意力加权求和的硬件加速器及其运行方法是由何凯旋;陈松设计研发完成,并于2024-10-22向国家知识产权局提交的专利申请。
本一种实现注意力加权求和的硬件加速器及其运行方法在说明书摘要公布了:本发明涉及集成电路芯片技术领域,公开了一种实现注意力加权求和的硬件加速器,包括控制模块、动态随机存取内存、乒乓静态随机存储器、数据缓冲器、输入先入先出队列模块、输出先入先出队列模块、处理单元阵列、exp模块、加法树模块、log2模块;本发明创造的硬件加速器通过设计专门的电路结构,可以实现高效的并行计算,减少内存访问延迟,从而提高注意力加权求和的计算速度。
本发明授权一种实现注意力加权求和的硬件加速器及其运行方法在权利要求书中公布了:1.一种实现注意力加权求和的硬件加速器的运行方法,用于对Transformer架构执行注意力加权求和,其特征在于,所述运行方法包括以下步骤: S1,控制模块将数据从动态随机存取内存中读出,写入乒乓静态随机存储器中的乒静态随机存储器中;乒静态随机存储器将数据读出,写入处理单元的数据静态随机存储器中; S2,控制模块将处理单元阵列的指令从动态随机存取内存中读出,写入乒乓静态随机存储器中的乓静态随机存储器中;乓静态随机存储器将数据读出,写入处理单元的指令静态随机存储器中; S3,处理单元阵列的处理单元开始处理,并将处理结果输出到输出先入先出队列模块; S4,exp模块接收所述输出先入先出队列模块输出的运算结果,并以并行处理的方式同时计算数据的e指数,将e指数结果输出至加法树模块与log2模块; S5,加法树模块分多次完成e指数结果的累加,将累加和送入log2模块; S6,log2模块先对送入的e指数结果进行log2运算,并将计算结果写入乒静态随机存储器中;然后再对加法树模块送入的累加和进行log2运算,对log2运算结果进行复制填充后写入乓静态随机存储器中; S7,控制模块将乒静态随机存储器中的计算结果写入处理单元阵列的数据静态随机存储器中; S8,控制模块将乓静态随机存储器中的计算结果通过输入先入先出队列模块送入处理单元阵列中,每个处理单元读取本地的数据静态随机存储器中预存的数据,与输入先入先出队列模块送入的数据相减,得到差值,并写回至本地静态随机存储器中; S9,所有差值计算完毕后,处理单元阵列中存储了缩放注意力得分矩阵的前m行的注意力权重结果; S10,控制模块将值矩阵从动态随机存取内存中读出,写入乒静态随机存储器中;由于矩阵数据按照先行后列的顺序排布在动态随机存取内存中,因此读出的数据为矩阵的前s列数据; S11,控制模块将乒静态随机存储器中前s列的V矩阵数据送入控制模块中进行重排,重排后的数据为转置后的s列V矩阵数据,将重排后的数据写入乓静态随机存储器中; S12,将乓静态随机存储器中重排后的s列V矩阵数据通过输入先入先出队列模块送入处理单元阵列中;每行处理单元同时接收1列V矩阵数据,并进行移位累加,得到注意力输出矩阵的第1列前m行数据,并通过最右侧处理单元写入输出先入先出队列模块中; S13,输出先入先出队列模块将陆续接收到的前m行数据送入数据缓冲器中进行重排,将重排后的前m行数据写入乓静态随机存储器中; S14,控制模块将乓静态随机存储器中的前m行数据写回动态随机存取内存中,完成注意力输出矩阵前s列的前m行数据的计算与存储; S15,通过重复步骤S10至步骤S14,完成注意力输出矩阵全部列的前m行数据的计算与存储; S16,通过重复步骤S1至步骤S15,完成注意力输出矩阵所有数据的计算与存储。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室),其通讯地址为:230000 安徽省合肥市高新区望江西路5089号,中国科学技术大学先进技术研究院未来中心B1205-B1208;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励