利用硬件计算效率和调整因子优化神经网络

    公开(公告)号:CN112889024B

    公开(公告)日:2024-09-03

    申请号:CN201980068960.2

    申请日:2019-10-18

    申请人: 元平台公司

    IPC分类号: G06F7/483 G06F7/509

    摘要: 在一个实施例中,一种方法包括接收对要执行的运算的请求;确定该运算与机器学习算法相关联,并且作为响应,将该运算路由到计算电路;在计算电路处执行运算,包括:基于与运算相关联的第一对数域数和第二对数域数的总和,确定第一对数域数和第二对数域数的线性域乘积,并输出近似第一对数域数和第二对数域数的线性域乘积的第三对数域数;将第三对数域数转换成第一线性域数;将第一线性域数和与运算相关联的第二线性域数求和,并输出第三线性域数作为求和结果。

    扩散模型加速器及其全网络差分数据流计算方法

    公开(公告)号:CN118446267A

    公开(公告)日:2024-08-06

    申请号:CN202410618369.2

    申请日:2024-05-17

    摘要: 本发明提出一种扩散模型加速器,包含:片外内存,存储有上一时间步的原值;片上缓存,包含:权重缓存模块,与外片内存耦接,用于提取权重值进行缓存;输入特征缓存模块,用于读取输入差分激活值进行缓存;输出特征缓存模块,用于读取输出差分激活值进行缓存;处理引擎,包含:运算器阵列,用于读取缓存的该权重值与该输入差分激活值进行卷积乘法运算,生成该输出差分激活值;特殊处理模块,与该片外内存及该输出特征缓存模块耦接,用于从该片外内存获取该原值的符号位值;且利用该符号位值在该输出差分激活值上进行函数激活运算,生成增量输出值。其具有良好的加速效果,同时具有较高的能量效率和面积效率。

    一种面积优化的串行浮点超越函数计算装置及处理器

    公开(公告)号:CN118092854B

    公开(公告)日:2024-07-19

    申请号:CN202410510689.6

    申请日:2024-04-26

    IPC分类号: G06F7/483 G06F7/48 G06F7/544

    摘要: 本发明提供了一种面积优化的串行浮点超越函数计算装置及处理器,该装置包括:初始化单元、控制单元、存储单元、运算单元、输出选择单元;初始化单元接收外界输入至所述计算装置的浮点输入数据和指令控制信号,输出经过初始化后的数据并发送至控制单元;控制单元连接存储单元及运算单元;所述控制单元基于超越函数的约束条件,将不同数据选择性地输入至运算单元,同时控制单元还判断当前迭代是否收敛;运算单元用于进行浮点迭代运算,并输出迭代反馈数据,以及根据收敛信号,进行浮点缩放运算,输出完成缩放后的数据至输出选择单元;输出选择单元基于指令控制信号,输出运算结果。本方案实现硬件资源复用,减小了芯片面积,降低资源消耗。

    浮点数尾数压缩方法、装置、发送端、接收端及介质

    公开(公告)号:CN118331535A

    公开(公告)日:2024-07-12

    申请号:CN202410388717.1

    申请日:2024-04-01

    申请人: 清华大学

    IPC分类号: G06F7/483 H03M7/30 G06N3/098

    摘要: 本申请涉及通信技术领域,特别涉及一种浮点数尾数压缩方法、装置、发送端、接收端及介质,其中,方法包括:获取数据并行分布式机器学习训练过程中待发送的目标梯度数据;识别目标梯度数据中各个梯度浮点数和梯度对应参数,从各个梯度浮点数分离出浮点数尾数和指数部分,基于梯度对应参数确定浮点数尾数的量化等级;基于量化等级对浮点数尾数进行移位压缩得到压缩数据,根据压缩数据、指数部分和量化等级生成通信数据,发送通信数据至接收端。由此,解决了相关技术中由于梯度数据量过大导致机间无法及时传输通信数据,从而降低数据并行分布式训练的效率等问题。

    用于机器学习的浮点对数系统缩放系统

    公开(公告)号:CN118302744A

    公开(公告)日:2024-07-05

    申请号:CN202280078433.1

    申请日:2022-10-11

    申请人: 卡西亚AI公司

    发明人: J·坦顿

    摘要: 一种集成电路包括硬件不精确浮点对数系统(FPLNS)乘法器。集成电路访问寄存器,该寄存器含有第一浮点二进制值及其第一对数二进制值和第二浮点二进制值及其第二对数二进制值,每个均是FPLNS数据格式。FPLNS乘法器被配置成通过以下方式将第一浮点二进制值和第二浮点二进制值相乘:将第一对数二进制值与第二对数二进制值相加以形成第一对数和,将偏置常数移位第一浮点二进制值的尾数的位数以形成第一移位偏置值,从第一移位偏置值中减去校正因子以形成第一校正偏置值,并且从第一对数和中减去第一校正偏置值以形成第一结果。

    一种基于Dyninst的浮点程序精度损失检测方法

    公开(公告)号:CN116431479B

    公开(公告)日:2024-06-28

    申请号:CN202310255633.6

    申请日:2023-03-16

    IPC分类号: G06F11/36 G06F7/483 G06F7/58

    摘要: 本发明公开了一种基于Dyninst的浮点程序精度损失检测方法,属于计算机运算技术领域;包括以下步骤:根据浮点数据格式分布不均匀的特点,生成在各个浮点数据区间均匀分布的输入数据;精度检测之前进行预处理,将检测出的特定精度操作排除在检测范围之外,减少误报精度损失;浮点程序解析,根据浮点表达式自动生成对应的MPFR代码段;语句级动态分析,定位精度损失源码位置。本发明检测方法通过生成均匀分布的输入数据,替代多数检测工具随机生成的输入数据,剔除浮点特定精度操作减少误报,根据浮点程序源码自动生成对应的高精度MPFR运算,动态检测精度损失并记录精度损失变化情况,生成浮点程序精度损失变化图,从而能够清晰的观察产生精度损失的源码位置。

    一种多功能数据转换装置及其转换方法

    公开(公告)号:CN118245016A

    公开(公告)日:2024-06-25

    申请号:CN202410221870.5

    申请日:2024-02-28

    发明人: 汪越越 张紫辰

    IPC分类号: G06F7/483 G06F7/485

    摘要: 本申请涉及一种多功能数据转换装置及其转换方法。所述装置包括源操作数分离模块、阶差计算模块、阶差产生与溢出判断模块、动态求补码模块、动态前导1检测模块、位反序模块、动态右移模块、舍入操作模块、指数计算模块、数据选择模块、动态加法器模块、数据组装模块;源操作数分离模块与阶差计算模块、舍入操作模块和动态右移模块连接;阶差产生与溢出判断模块与阶差计算模块、指数计算模块、动态右移模块连接;动态求补码模块与动态前导1检测模块、位反序模块连接;舍入操作模块与源操作数分离模块、动态右移模块、指数计算模块、数据选择模块连接。本申请通过将各类指令的硬件实现合并,从而达到最高的资源复用,且实现了更小的延时。

    一种面积优化的串行浮点超越函数计算装置及处理器

    公开(公告)号:CN118092854A

    公开(公告)日:2024-05-28

    申请号:CN202410510689.6

    申请日:2024-04-26

    IPC分类号: G06F7/483 G06F7/48 G06F7/544

    摘要: 本发明提供了一种面积优化的串行浮点超越函数计算装置及处理器,该装置包括:初始化单元、控制单元、存储单元、运算单元、输出选择单元;初始化单元接收外界输入至所述计算装置的浮点输入数据和指令控制信号,输出经过初始化后的数据并发送至控制单元;控制单元连接存储单元及运算单元;所述控制单元基于超越函数的约束条件,将不同数据选择性地输入至运算单元,同时控制单元还判断当前迭代是否收敛;运算单元用于进行浮点迭代运算,并输出迭代反馈数据,以及根据收敛信号,进行浮点缩放运算,输出完成缩放后的数据至输出选择单元;输出选择单元基于指令控制信号,输出运算结果。本方案实现硬件资源复用,减小了芯片面积,降低资源消耗。

    基于RISC-V浮点超越函数指令集扩展方法及装置

    公开(公告)号:CN118092853A

    公开(公告)日:2024-05-28

    申请号:CN202410510687.7

    申请日:2024-04-26

    IPC分类号: G06F7/483

    摘要: 本发明提供了基于RISC‑V浮点超越函数指令集扩展方法及装置,该装置包括:基于RISC‑V架构的处理器;所述处理器包括程序计数器、译码模块、多个执行单元、加载存储模块、寄存器堆、指令存储器和数据存储器;多个执行单元包括CORDIC单元和FPU单元;多个执行单元接收译码模块发送的指令控制信号,以执行超越函数的CORDIC浮点运算;CORDIC单元采用并行的浮点融合乘加、浮点加法、浮点乘法电路迭代结构;采用2行并行的浮点乘法电路缩放结构。本方案压缩了超越函数计算的指令数量,提高了编译速度,采用IEEE‑754标准的浮点数据格式,计算精度高,计算范围大。

    一种数据处理方法及装置
    100.
    发明公开

    公开(公告)号:CN118069026A

    公开(公告)日:2024-05-24

    申请号:CN202211466956.1

    申请日:2022-11-22

    IPC分类号: G06F3/06 G06F7/483

    摘要: 一种数据处理方法及装置,该方法包括:获取第一数据、第一参数和第二参数,其中,第一参数表示指数块的位宽,第二参数表示底数块的位宽;根据第一数据、第一参数和第二参数,确定第一数据的第一指数值;根据第一指数值和第二参数,确定在底数块中填充的第一位数;根据第一数据和第一指数值,确定第一数据的底数值;在指数块的存储区域存储第一数据的符号位和第一指数值,在底数块的存储区域存储底数值;当第一位数大于0的情况下,在底数块中底数值的存储区域之前进行比特填充。该方法通过对指数块的位宽和底数块的位宽确定所存储的第一数据的第一指数值、底数值以及填充的第一位数,可以灵活调整所存储数据的存储精度,满足不同的精度需求。