公开(公告)号：CN113971780B

公开(公告)日：2024-06-18

申请号：CN202111304214.4

申请日：2021-11-04

申请人： 大连民族大学

发明人： 张建新 ,  王振伟 ,  张冰冰 ,  董微

IPC分类号： G06V20/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/084

摘要： 本发明公开了一种基于CNN和累加隐层状态ConvLSTM的视频人体行为识别方法，其内容包括：使用在ImageNet上预训练的2D CNN作为骨干模型，并在CNN中数个固定的网络层位置之后插入AH‑ConvLSTM模块来构建整体网络；获取包含视频数据及标签的数据样本集并将其划分为训练样本集和测试样本集；使用片段采样的方式对视频进行采样，将采样得到的帧作为输入送到整体网络中；设置学习率对整体网络进行训练，训练数据使用训练样本集；使用分类器生成各类别识别分数，通过反向传播来更新整体网络参数，并将参数保存为权重文件；使用已验证准确率最高的权重文件初始化整体网络，对测试样本集视频帧进行片段采样，将采样得到的帧输入到整体网络中来学习视频中的时空信息，得到识别结果。

公开(公告)号：CN118115522A

公开(公告)日：2024-05-31

申请号：CN202410230171.7

申请日：2024-02-29

申请人： 大连民族大学

发明人： 张建新 ,  张睦卿 ,  韩雨童 ,  王巍 ,  刘斌 ,  张强

IPC分类号： G06T7/194 ,  G06N3/094 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/0464

摘要： 本发明公开了一种基于循环生成对抗Transformer的脑肿瘤分割方法，包括：通过核磁共振成像方法获取脑肿瘤多模态MRI图像信息；将脑肿瘤多模态MRI图像进行预处理获得清晰脑肿瘤图像，构建基于循环生成对抗Transformer分割网络结构，所述对抗Transformer分割网络结构包括生成器和判别器；将输入数据集分为训练集和验证集，使用训练集对对抗Transformer分割网络结构进行训练并保存权重模型，将生成器生成出的图像作为脑肿瘤分割任务的结果，将验证集输入至完成训练的对抗Transformer分割网络结构进行验证，将验证集的分割结果传送至CBICA官方网站进行精确度验证获取脑肿瘤分割结果。

公开(公告)号：CN115830491A

公开(公告)日：2023-03-21

申请号：CN202211436285.4

申请日：2022-11-16

申请人： 大连民族大学

发明人： 张建新 ,  董微 ,  张冰冰 ,  张强

IPC分类号： G06V20/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

摘要： 本发明公开了一种基于二阶Transformer建模的视频行为识别方法，包括：获取包含视频数据及标签的视频数据集，将视频数据集划分为训练集和测试集，并对视频数据集进行抽帧；将预训练的二阶Transformer架构作为骨干网络，该骨干网络使用二阶分类头进行数据分类；在该骨干网络中设计两种不同的时间建模方式，其一是在该网络中间的编码器内部插入标记移位模块和时空注意力模块，其二是在该网络的前端将3D时序卷积插入到标记嵌入模块中，从而构建出视频二阶Transformer网络；使用训练集训练视频二阶Transformer网络，训练过程包括网络特征的前向传播和误差的反向传播；训练模型时每次迭代更新网络参数，使用最优权重初始化视频二阶Transformer网络，在测试集上对该网络的性能进行评估。

公开(公告)号：CN114998647A

公开(公告)日：2022-09-02

申请号：CN202210526657.6

申请日：2022-05-16

申请人： 大连民族大学

发明人： 张建新 ,  侯存巧 ,  张冰冰 ,  韩雨童

IPC分类号： G06V10/764 ,  G06V10/774 ,  G06V10/28 ,  G06V10/26 ,  G06V10/40 ,  G06V10/80 ,  G06V10/776 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 基于注意力多实例学习的乳腺癌全尺寸病理图像分类方法，该方法内容包括以下步骤：步骤1：获取数据集和标签；步骤2：数据集预处理；步骤3：构建二阶段的全尺寸病理图像(WSI)分类网络；步骤4：保存二阶段网络的最优权重；步骤5：计算该网络在测试集上的准确率。本发明的SAMIL引入了轻量且高效的SA模块，SA融合空间注意力和通道注意力，它们分别用于捕获像素级成对关系和通道依赖性。SAMIL将MHA与LSTM堆叠，以自适应地突出最独特的实例特征，从而更好地计算所选实例之间的相关性，提高分类精度。

公开(公告)号：CN117197708A

公开(公告)日：2023-12-08

申请号：CN202310526292.1

申请日：2023-05-10

申请人： 大连民族大学

发明人： 张建新 ,  张颖 ,  张冰冰 ,  董微 ,  安峰民 ,  张强

IPC分类号： G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/084 ,  G06F40/289

摘要： 本发明公开了一种基于语言视觉对比学习的多模态视频行为识别方法，包括：获取视频数据和其对应标签的语言描述，将语言视频数据集分为训练集和测试集，并对视频数据进行抽帧；使用对比语言图像预训练模型作为基础网络，对该基础网络进行拓展，从而构建基于语言视觉对比学习的视频多模态网络，该视频多模态网络根据视频特征和语言特征的相似度信息对视频进行分类；使用训练集中的语言和视频数据对视频多模态网络进行迭代训练从而更新该网络参数，该训练过程包括网络特征的前向传播和误差的反向传播；在每次迭代中更新网络参数，每次迭代中进行训练和验证，根据最优验证集精度保存视频多模态网络的最优权重，使用最优权重初始化视频多模态网络，在测试集上对该网络的性能进行评估。

公开(公告)号：CN114155210A

公开(公告)日：2022-03-08

申请号：CN202111358807.9

申请日：2021-11-17

申请人： 大连民族大学

发明人： 王巍 ,  孟佳娜 ,  刘爽 ,  云健 ,  张建新 ,  刘勇奎 ,  多俊杰

IPC分类号： G06T7/00 ,  G06T3/40 ,  G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06V10/82 ,  G06V10/84

摘要： 本发明公开了一种基于SDA‑SFANet的人群计数方法，内容包括：获取人群计数数据集，在训练过程中对数据进行预处理；建立多尺度感知的人群计数网络模型，在VGG网络中融入注意力机制模块；引入HDC标准化设计对ASPP模块优化改进，得到标准化的SDASPP模块，在VGG网络中加入SDASPP模块；利用所收集的数据集对所述模型进行训练；将VGG网络提取器和上下文感知模块和SDASPP模块输出的特征图通过级联和上采样的方式将图像还原到原始图像大小得到密度图；使用具有固定标准偏差内核的高斯方法生成groud truth D(x)；密度图通过与高斯核卷积来构建；使用贝叶斯损失函数对预测的人群计数进行损失值计算，将损失值反馈到SDA‑SFANet；不断训练网络，对参数进行优化，直到获得对人群计数结果预测满意的模型为止。

公开(公告)号：CN114155210B

公开(公告)日：2024-04-26

申请号：CN202111358807.9

申请日：2021-11-17

申请人： 大连民族大学

发明人： 王巍 ,  孟佳娜 ,  刘爽 ,  云健 ,  张建新 ,  刘勇奎 ,  多俊杰

IPC分类号： G06T7/00 ,  G06T3/4007 ,  G06N3/08 ,  G06N3/0464 ,  G06N3/09 ,  G06V10/82 ,  G06V10/84

摘要： 本发明公开了一种基于SDA‑SFANet的人群计数方法，内容包括：获取人群计数数据集，在训练过程中对数据进行预处理；建立多尺度感知的人群计数网络模型，在VGG网络中融入注意力机制模块；引入HDC标准化设计对ASPP模块优化改进，得到标准化的SDASPP模块，在VGG网络中加入SDASPP模块；利用所收集的数据集对所述模型进行训练；将VGG网络提取器和上下文感知模块和SDASPP模块输出的特征图通过级联和上采样的方式将图像还原到原始图像大小得到密度图；使用具有固定标准偏差内核的高斯方法生成groud truth D(x)；密度图通过与高斯核卷积来构建；使用贝叶斯损失函数对预测的人群计数进行损失值计算，将损失值反馈到SDA‑SFANet；不断训练网络，对参数进行优化，直到获得对人群计数结果预测满意的模型为止。

公开(公告)号：CN114863326B

公开(公告)日：2024-04-05

申请号：CN202210412688.9

申请日：2022-04-19

申请人： 大连民族大学

发明人： 张建新 ,  董微 ,  张冰冰 ,  韩雨童 ,  赵诚辉 ,  石金龙 ,  何昆仑

IPC分类号： G06V20/40 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/084

摘要： 本发明公开了一种基于高阶建模的视频行为识别方法，包括：在2D卷积神经网络的不同阶段插入相关性模块，对该网络末端进行迭代矩阵平方根归一化的协方差池化操作获得高阶相关性网络；获取视频数据集和标签，将视频数据集分为训练集和测试集；将所有的帧输入至高阶相关性网络中；采用训练集训练高阶相关性网络，在每次迭代中更新网络参数，每次迭代中对帧进行训练和验证，并根据最优验证集精度保存高阶相关性网络的最优权重；使用最优权重初始化高阶相关性网络，在测试集上对该网络的准确率进行评估，将测试集数据输入该网络中获得测试结果，将测试结果与标签数据进行对比，统计正确和错误的个数从而计算该网络在测试集上的准确率。

公开(公告)号：CN115439778A

公开(公告)日：2022-12-06

申请号：CN202210999885.5

申请日：2022-08-19

申请人： 大连民族大学

发明人： 张建新 ,  王振伟 ,  张冰冰 ,  董微 ,  张强

IPC分类号： G06V20/40 ,  G06V10/82 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种用于视频行为识别的分组二阶时空特征聚合方法，包括：使用预训练的2D卷积神经网络作为骨干模型，获取包含视频数据及标签的数据集并划分为训练集和测试集，对视频进行抽帧并保存到本地；采用稀疏采样方式对视频进行采样，将采样得到的帧作为输入传送至整体分组二阶聚合网络中；使用训练集训练分组二阶聚合网络，在每次迭代中更新网络参数，并在每个迭代使用测试集数据进行验证，保存最优验证精度的分组二阶聚合网络权重；使用准确率最高的权重文件初始化分组二阶聚合网络，在测试集上进行测试，将测试结果与标签数据进行对比，统计正确和错误的个数从而计算该网络在测试集上的准确率。

公开(公告)号：CN118736178A

公开(公告)日：2024-10-01

申请号：CN202410738392.5

申请日：2024-06-07

申请人： 大连民族大学

发明人： 丁雪妍 ,  隋一欣 ,  王亚飞 ,  张建新

IPC分类号： G06V10/20 ,  G06V10/30 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06V20/05 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094

摘要： 本发明公开了一种基于扩散模型和对抗学习的水下图像增强方法，包括：获取配对图像作为训练数据，所述配对图像包括退化的水下图像以及对应增强后的参考图像；根据所述训练数据对基于扩散模型的生成器进行对抗训练，所述生成器用于对拼接退化图像进行增强处理，所述拼接退化图像由退化的水下图像和纯噪声图像通道级连接后获取；所述生成器采用基于U‑Net结构的扩散模型，将U‑Net结构中的原有的注意力模块替换为多尺度动态窗口注意力模块；获取待增强的水下图像输入训练后的生成器，获取生成器输出作为增强图像。本发明从水下图像特性出发，在深度学习方法中融入了跨尺度相似性和非均向性的捕捉机制，有助于提高水下图像增强的效果和适用性。