公开(公告)号：CN116701696A

公开(公告)日：2023-09-05

申请号：CN202310682762.3

申请日：2023-06-09

Applicant: 浙江大学

Inventor： 梁秀波 ,  张璇 ,  王宏志

IPC: G06F16/583 ,  G06V10/82 ,  G06V10/42 ,  G06V10/44 ,  G06N3/049 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于脉冲Transformer模型的图片描述方法，其方案：首先设计一个更符合生物多样性的，具有可学习膜电位时间常数和电压阈值新型脉冲神经元PLMP,该神经元能够优化脉冲模型训练梯度消失的问题；利用PLMP神经元将Transformer中普通的自注意力机制改造为脉冲注意力机制；利用脉冲自注意力机制搭建一个脉冲Transformer用于图片描述模型训练；最终效得到一个适用于图片描述领域、节能的、可以生成高质量的图片描述的脉冲Transformer模型。

公开(公告)号：CN120071022A

公开(公告)日：2025-05-30

申请号：CN202510526281.2

申请日：2025-04-25

Applicant: 浙江大学

Inventor： 陈克杰 ,  梁秀波 ,  王宏志 ,  胡星

IPC: G06V10/764 ,  G06V10/52 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/065 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于频域滤波模块的脉冲神经网络图像处理方法和系统，该方法包括：获取时域图像数据；通过离散傅里叶变换将时域图像数据转换为频域数据；使用频域滤波模块对频域数据进行处理，以去除其中的冗余信息并增强关键频率成分对应的特征，生成滤波后的频域数据；通过逆离散傅里叶变换将滤波后的频域数据转换回时域数据，得到转换后的时域数据；使用脉冲神经网络处理转换后的时域数据，以进行图像特征提取与分类，并输出最终的图像分类结果。本发明能够实现输入数据的有效处理和分类，不仅提高了图像分类准确性，还通过减少冗余输入降低了脉冲神经网络的平均脉冲发放率，从而实现了能效优化。

公开(公告)号：CN116665153A

公开(公告)日：2023-08-29

申请号：CN202310711740.5

申请日：2023-06-15

Applicant: 浙江大学

Inventor： 梁秀波 ,  毕水秀 ,  王宏志

IPC: G06V20/54 ,  G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于改进型Deeplabv3+网络模型的道路场景分割方法，包括获取道路场景图像数据并进行预处理，生成标签图像；将预处理图像和标签图像组合，得到数据集并分为训练集、验证集和测试集；构建改进型Deeplabv3+网络模型；训练集和验证集用来训练改进型Deeplabv3+网络模型；将测试集的预处理图像输入训练好的模型，得到道路场景图像的分割结果。本发明采用四元数卷积取代二维卷积，提高网络的拟合能力，降低参数量；采用大卷积替换空洞卷积对空间金字塔池化模块进行重构，增加有效感受野并提高对待征信息的复用效率；在解码端引入编码端中降采样层输出的特征图和注意力机制模块，实现多尺度特征融合和细节感知；将模型的训练和推理解耦，减少计算量和内存消耗。