公开(公告)号：CN114399697B

公开(公告)日：2024-11-19

申请号：CN202111416174.2

申请日：2021-11-25

申请人： 北京航空航天大学杭州创新研究院

发明人： 胡海苗 ,  李明竹 ,  张译丹 ,  姜宏旭

IPC分类号： G06V10/25 ,  G06V10/42 ,  G06V10/44 ,  G06V10/764 ,  G06V10/766 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/045 ,  G06N3/084 ,  G06N3/0475 ,  G06N3/094

公开(公告)号：CN114758167A

公开(公告)日：2022-07-15

申请号：CN202210163470.4

申请日：2022-02-22

申请人： 北京航空航天大学杭州创新研究院 ,  杭州食方科技有限公司

发明人： 胡海苗 ,  徐振博 ,  黄龚 ,  姜宏旭 ,  李明竹

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/08

摘要： 本发明涉及一种基于自适应对比学习的菜品识别方法，与传统的菜品识别方法不同，基于自适应对比学习的神经网络，无需在线训练，对推理环境要求较低，本发明提出多尺度三元组损失函数，使得神经网络自适应的学习不同尺度差异的损失，从而更好的区分菜品间的细微差异；所述的多尺度三元组损失函数由包括三种边界的三元组损失函数以及一个最大值选择函数组成，可自适应选择三元组损失的边界值；本发明通过自适应对比学习的方式来实现菜品识别的离线推理，不仅不受菜品种类的约束，能够应对类别的实时变化，离线推理还大大降低了菜品识别应用环境的算力要求；本发明通过在反馈过程中引入低相似度样本自动删除，使得菜品识别方法可以长时间稳定运行。

公开(公告)号：CN113920337A

公开(公告)日：2022-01-11

申请号：CN202111227569.8

申请日：2021-10-21

申请人： 北京航空航天大学杭州创新研究院

发明人： 谢传良 ,  常云洋 ,  姜宏旭 ,  张润华 ,  袁茂洵 ,  田方正 ,  章黎明

IPC分类号： G06V10/74 ,  G06V10/25 ,  G06T7/13 ,  G06T7/155 ,  G06T5/30

摘要： 本发明公开了一种基于DSP的舰船模板匹配加速方法及系统；包括：针对DSP多核心划分数据存储空间；对数据存储空间和IPC中断进行初始化；向数据存储空间中输入舰船图像、舰船模板图像和舰船位置数据，由DSP多核心进行计算；使用DSP多核心并行计算舰船图像的最长轮廓线C0，和舰船模板图像的傅里叶描述子；使用DSP多核心并行计算最长轮廓线C0循环右移的傅里叶描述子集合；计算步骤S1中舰船模板图像的傅里叶描述子，与步骤S2中最长轮廓线C0的傅里叶描述子集合的欧式距离；欧式距离最小的值对应的舰船模板图像即为最终匹配结果。本发明能够加快图像匹配过程中的数据访问速度，同时缩短匹配计算时间。

公开(公告)号：CN113780529A

公开(公告)日：2021-12-10

申请号：CN202111050620.2

申请日：2021-09-08

申请人： 北京航空航天大学杭州创新研究院 ,  北京航空航天大学

发明人： 姜宏旭 ,  胡宗琦 ,  李波 ,  张永华 ,  田方正 ,  张润华 ,  谢传良

IPC分类号： G06N3/04 ,  G06N3/063 ,  G06N3/08

摘要： 本发明公开了一种面向FPGA的稀疏卷积神经网络多级存储计算系统，其特征在于，包括ARM端和FPGA端；其中ARM端用于获取网络模型权重参数和输入特征图数据，根据网络模型权重参数和输入特征图数据的存储信息生成流程控制指令，并将该流程控制指令发送到FPGA端；FPGA端接收到所述流程控制指令后，从ARM端中读取网络模型权重参数和输入特征图数据，并进行计算，最后将计算结果反馈给所述ARM端；其中FPGA端的计算架构设计以并行计算阵列和多级存储结构为核心，发挥FPGA高并行度、高吞吐量和低功耗的硬件优势，充分利用稀疏卷积神经网络的稀疏特性，获得尽可能高的加速比，快速高效的实现卷积神经网络的前向推理过程。

公开(公告)号：CN114758167B

公开(公告)日：2024-04-26

申请号：CN202210163470.4

申请日：2022-02-22

申请人： 北京航空航天大学杭州创新研究院 ,  杭州食方科技有限公司

发明人： 胡海苗 ,  徐振博 ,  黄龚 ,  姜宏旭 ,  李明竹

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06N3/084

摘要： 本发明涉及一种基于自适应对比学习的菜品识别方法，与传统的菜品识别方法不同，基于自适应对比学习的神经网络，无需在线训练，对推理环境要求较低，本发明提出多尺度三元组损失函数，使得神经网络自适应的学习不同尺度差异的损失，从而更好的区分菜品间的细微差异；所述的多尺度三元组损失函数由包括三种边界的三元组损失函数以及一个最大值选择函数组成，可自适应选择三元组损失的边界值；本发明通过自适应对比学习的方式来实现菜品识别的离线推理，不仅不受菜品种类的约束，能够应对类别的实时变化，离线推理还大大降低了菜品识别应用环境的算力要求；本发明通过在反馈过程中引入低相似度样本自动删除，使得菜品识别方法可以长时间稳定运行。

公开(公告)号：CN113780529B

公开(公告)日：2023-09-12

申请号：CN202111050620.2

申请日：2021-09-08

申请人： 北京航空航天大学杭州创新研究院 ,  北京航空航天大学

发明人： 姜宏旭 ,  胡宗琦 ,  李波 ,  张永华 ,  田方正 ,  张润华 ,  谢传良

IPC分类号： G06N3/0464 ,  G06N3/063 ,  G06N3/08

摘要： 本发明公开了一种面向FPGA的稀疏卷积神经网络多级存储计算系统，其特征在于，包括ARM端和FPGA端；其中ARM端用于获取网络模型权重参数和输入特征图数据，根据网络模型权重参数和输入特征图数据的存储信息生成流程控制指令，并将该流程控制指令发送到FPGA端；FPGA端接收到所述流程控制指令后，从ARM端中读取网络模型权重参数和输入特征图数据，并进行计算，最后将计算结果反馈给所述ARM端；其中FPGA端的计算架构设计以并行计算阵列和多级存储结构为核心，发挥FPGA高并行度、高吞吐量和低功耗的硬件优势，充分利用稀疏卷积神经网络的稀疏特性，获得尽可能高的加速比，快速高效的实现卷积神经网络的前向推理过程。

公开(公告)号：CN115690779A

公开(公告)日：2023-02-03

申请号：CN202211414313.2

申请日：2022-11-11

申请人： 北京航空航天大学杭州创新研究院

发明人： 徐振博 ,  胡海苗 ,  姜宏旭

IPC分类号： G06V20/68 ,  G06V10/40 ,  G06V10/82 ,  G06F18/25 ,  G06F16/2455 ,  G06N3/0464 ,  G06N3/084

摘要： 本发明涉及一种基于时序重排序的生鲜识别方法，在传统的生鲜识别方法的基础上，在训练与推理的过程中设置并维护一个时间戳缓存区，用于记录过去的识别序列中每一个样本的正确类别与时间戳。除了进行图像特征提取外，我们额外从时间戳缓存区查询所有类别的最近出现时间以及最近出现频率，以获得所有类别额外的时序特征。我们拼接图像特征和时序特征，并通过时序重排序网络进行所有类别置信度的重新预测，使得生鲜识别算法可以学习同商品的不同编码之间变化的特征，应对现实应用中商品编码的即时变化，有效提高生鲜识别模型的识别率。

公开(公告)号：CN113900803A

公开(公告)日：2022-01-07

申请号：CN202111164396.X

申请日：2021-09-30

申请人： 北京航空航天大学杭州创新研究院 ,  北京航空航天大学

发明人： 姜宏旭 ,  张永华 ,  李波 ,  胡宗琦 ,  丛容子 ,  朱雨婷 ,  常云洋

IPC分类号： G06F9/50 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种面向MPSoC的稀疏网络负载均衡调度方法，包括：S1：获取输入当前层的特征图；S2：获取计算平台的硬件配置参数，通过动态构建特征图分块实现非零激活值的均衡加载；S3：获取当前网络层的权重参数，通过对卷积核进行分组合并实现非零权重值的均衡加载；S4：基于所述非零激活值的均衡加载和所述非零权重值的均衡加载，采用分层缓冲映射机制进行卷积计算与映射输出，实现稀疏网络负载均衡调度。本发明通过采用非零激活值和权重值的均衡加载策略，实现稀疏网络负载均衡调度，达到稀疏网络在基于分层映射的笛卡尔乘积‑结果哈希映射计算范式下推理阶段的计算负载均衡，从而提高稀疏网络推理加速性能。

公开(公告)号：CN113780542A

公开(公告)日：2021-12-10

申请号：CN202111051377.6

申请日：2021-09-08

申请人： 北京航空航天大学杭州创新研究院 ,  北京航空航天大学

发明人： 姜宏旭 ,  田方正 ,  李波 ,  李晓宾 ,  张润华 ,  胡宗琦 ,  常云洋

IPC分类号： G06N3/063 ,  G06N3/08 ,  G06N3/04

摘要： 本发明公开了一种面向FPGA的多目标网络结构的构建方法，包括：构建轻量化、可伸缩并易收敛的网络结构搜索候选模块，对所述候选模块在FPGA平台上的时延进行测试并记录，并设计可微化的时延指标约束函数；设计有向无环图的过参数化网络搜索空间和设计无代理的二阶段网络搜索策略，加速网络结构的搜索过程；将所述时延约束指标函数加入基于梯度下降的反向传播算法中，构建多目标综合搜索损失函数；根据所述多目标综合搜索损失函数，生成适配FPGA的轻量级网络结构。与同等精度水平的手工轻量级神经网络相比，本发明构建的轻量级网络结构在FPGA上具备更高的实时性，更小的模型体积和更少的模型运算量。

公开(公告)号：CN114782735A

公开(公告)日：2022-07-22

申请号：CN202210163468.7

申请日：2022-02-22

申请人： 北京航空航天大学杭州创新研究院 ,  杭州食方科技有限公司

发明人： 徐振博 ,  胡海苗 ,  黄龚 ,  姜宏旭 ,  张译丹

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/08

摘要： 本发明一种基于多区域数据增强的菜品识别方法，在传统的菜品识别方法的基础上，对训练的过程中的每一张输入图像进行多区域数据增强；所述多区域增强方法分别由两步完成，第一步将输入图像从水平维度以及竖直维度平均裁剪为四等份，第二步选择每两个相邻的1/4等份分别做数据增强，将上述两步骤产生的四个多区域增强的增强图像用作训练菜品分类神经网络，通过同时计算四个样本的平均距离损失以及分类损失来对神经网络进行协同优化；本发明通过对输入图像做多区域数据增强，使得神经网络对菜品的特征提取鲁棒性更强，降低模型对识别环境变化以及菜品形态变化的敏感程度，提升菜品识别模型在不同环境下的鲁棒性。