一种基于互信息的多模态情感识别方法及系统

    公开(公告)号:CN118410387A

    公开(公告)日:2024-07-30

    申请号:CN202410667871.2

    申请日:2024-05-28

    摘要: 本发明提供一种基于互信息的多模态情感识别方法及系统,方法包括获取视频数据和音频数据;根据所述视频数据和音频数据以及已经训练好的多模态情感识别模型,获得情感分类结果;其中,在所述多模态情感识别模型中,定义总体损失函数,基于得到的总体损失,训练多模态情感识别模型;所述总体损失函数由单模态特有信息学习损失函数、模态间的共同信息学习损失函数、多模态融合特征最小充分表示损失函数、情感识别分类损失函数组成。本发明利用互信息剔除冗余信息、提取相关信息,并挖掘不同模态之间的互补性,提高了多模态情感识别精度。

    一种基于自适应深度神经网络的地铁人流密度估计方法

    公开(公告)号:CN116403151A

    公开(公告)日:2023-07-07

    申请号:CN202211642729.X

    申请日:2022-12-20

    摘要: 本发明公开了一种基于自适应深度神经网络的地铁人流密度估计方法。该方法包括步骤:数据处理,自适应K‑means聚类确定锚框数量及锚框长宽,不同尺度的特征提取,根据自适应K‑means聚类结果自动确定特征融合网络不同尺度的特征图,利用自适应融合网络ASFF融合不同尺度特征之间的不一致性,对不同尺度的特征图进行预测并计算损失,行人头部检测模型网络训练,以及实时的人流密度估计。相比现有技术,本发明在检测速度、检测精度上都有大幅度的提升。

    基于投影重构和多输入多输出神经网络的坐姿识别方法

    公开(公告)号:CN111325166B

    公开(公告)日:2023-07-07

    申请号:CN202010119569.5

    申请日:2020-02-26

    摘要: 本发明涉及一种基于投影重构和多输入多输出神经网络(MIMO‑CNN)的坐姿识别方法,包括:获取人体上半身深度图像及人体前景轮廓图;预处理;对坐姿轮廓的深度信息进行投影,重构得到三视角深度图;设计用于坐姿识别的MIMO‑CNN网络并学习模型参数;坐姿识别;模型自学习。优点:预处理后深度图像和人体轮廓图进行结合,排除周围背景对坐姿识别的干扰。使用投影重构方法得到三视角深度图,使得坐姿信息更加丰富。所设计的MIMO‑CNN结构,特别适用于投影重构特征信息同时融入了注意力机制,能更好的关注不同坐姿的热点区域,从而提升识别精度,同时采用模型自学习,较好地平衡了实时性和准确性需求,对视角变化和复杂环境背景,具有较强的抗干扰能力。

    监控视频特定异常行为的检测模型训练方法及检测方法

    公开(公告)号:CN113011322A

    公开(公告)日:2021-06-22

    申请号:CN202110286753.3

    申请日:2021-03-17

    摘要: 本发明公开了一种监控视频特定异常行为的检测模型训练方法及检测方法,属于视频处理技术领域。在训练模型时,包括:将数据集中每个训练视频均分成数量相等的视频片段,构成正例包和负例包;将视频片段输入预训练好的特征提取网络提取视频特征;将所提取的视频特征输入串联的至少一个全连接层,得到视频片段特征;利用所得到的视频片段特征构造无向图,将无向图输入串联的至少一个图卷积神经网络层得到异常得分;根据异常得分,计算正负样本之间的排序损失,并更新权重,完成至少一个全连接层和至少一个图卷积神经网路层的训练。检测时,利用所训练出的模型进行检测。本发明能够对视频监控中特定异常行为进行较好的检测,并具有较快的检测速度。

    一种智能家居养老的视频监控异常行为系统及方法

    公开(公告)号:CN106027978A

    公开(公告)日:2016-10-12

    申请号:CN201610447391.0

    申请日:2016-06-21

    IPC分类号: H04N7/18 G06K9/00

    CPC分类号: H04N7/181 G06K9/00302

    摘要: 本发明公开了一种智能家居养老的视频监控异常行为系统及方法,属于模式识别、计算机视觉技术领域。本发明的监控系统包括:双镜头监控摄像头、视频处理节点以及通讯中心,该系统通过双镜头监控摄像头实时监控室内活动情况;通过视频处理节点识别处理异常行为,并依据人脸表情作为辅助识别,检测是否出现异常行为活动;然后由通讯中心给用户发送异常行为警告信息。本发明可以实时监控人体活动状态,在出现异常情况时发出警报,具有应用范围广、安全性高、识别稳定可靠等优点。

    谷胱甘肽荧光探针及其制备方法和用途

    公开(公告)号:CN103289681A

    公开(公告)日:2013-09-11

    申请号:CN201310232554.X

    申请日:2013-06-09

    摘要: 本发明涉及谷胱甘肽荧光探针及其制备方法和用途,探针结构如式(1)所示;其制备方法为:将2,4-二硝基氟苯、荧光素和碳酸钾溶解于无水DMF中,反应后即生成谷胱甘肽荧光探针;其用途为用于非诊断性质的谷胱甘肽含量检测。本发明荧光探针仅与谷胱甘肽发生荧光反应,对其它氨基酸均无反应,具有很好的选择性和特异性;该探针制备工艺简单易行,易于规模化生产。

    一种基于低秩多模态融合网络的MRI数据分类方法

    公开(公告)号:CN116958683A

    公开(公告)日:2023-10-27

    申请号:CN202310927881.0

    申请日:2023-07-26

    摘要: 本发明提供一种基于低秩多模态融合网络的MRI数据分类方法,首先,获取原始sMRI和fMRI的数据,分别对原始sMRI和fMRI的数据进行预处理,其次,基于低秩多模态融合网络分别从sMRI和fMRI两种不同模态的数据中提取特征向量,并采用低秩张量对提取后的特征向量进行融合,将融合后的特征输入支持向量机进行分类,基于总体损失函数采用端到端的方式训练低秩多模态融合网络,最后将测试集输入到训练好的低秩多模态融合网络中,得到测试样本的输出类别;本发明提供的基于低秩多模态融合网络的MRI数据分类方法,减小了不同模态间的异构性,增强了多模态融合的效果,提高了多模态分类模型的精度。

    一种基于深度强化学习的密集场景机械臂抓取多目标物体的方法

    公开(公告)号:CN116852353A

    公开(公告)日:2023-10-10

    申请号:CN202310744751.3

    申请日:2023-06-21

    IPC分类号: B25J9/16

    摘要: 本发明公开了一种基于深度强化学习的密集场景机械臂抓取多目标物体的方法,包括在CoppeliaSim仿真软件中添加机械臂和RGB‑D相机搭建与现实环境相似的场景,将相机捕获到的图像数据利用正交变换和旋转生成不同角度的高度图,接着把多张高度图输入由特征提取模块DenseNet121以及两个并行的推动网络和抓取网络组成的全卷积神经网络并输出像素级Q值图,利用掩码函数筛选出有意义的像素点并获取t时刻推动作最大Q值#imgabs0#和抓动作最大Q值#imgabs1#,根据当前状态下最大Q值选择动作,其中,推动的奖励值rp由推动前后场景中所有物体的平均相对距离的差值是否大于阈值决定。在真实场景的抓取中,将仿真端训练好的推抓协同策略网络应用到实物平台,机械臂在真实环境下根据动作选择规则进行决策完成抓取任务。所述的方法可以让机械臂专注于有效的抓取和推动来促进模型进行高效率的学习,并且可以在工作空间内评估每个候选推动作对物体密集程度的影响,为抓取提供了足够的空间,提高了抓取的成功率。

    一种基于多模态多站点数据融合的分类识别方法

    公开(公告)号:CN112837274B

    公开(公告)日:2023-07-07

    申请号:CN202110039520.3

    申请日:2021-01-13

    摘要: 本发明公开了一种基于多模态多站点数据融合的分类识别方法,包括如下步骤:1)获取多站点sMRI和R‑fMRI数据;2)对各个站点的sMRI数据进行预处理,得到sMRI颅骨剥离脑图像和大脑皮层表面模型;3)将大脑皮层分割成多个不同区域,并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数;4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征;5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征;6)各个站点的R‑fMRI数据进行预处理,获得大脑灰质图像;本发明采用基于低秩表示的方法使得多站点数据有相同或类似的数据分布,解决或部分解决了多站点数据异构性的问题,有效提高诊断模型的泛化性,更符合实际要求。

    一种织物疵点的特征提取及检测方法

    公开(公告)号:CN106203536B

    公开(公告)日:2019-05-14

    申请号:CN201610783743.X

    申请日:2016-08-30

    发明人: 王莉 沈捷 梅雪

    摘要: 本发明公开了一种织物疵点的特征提取及检测方法,步骤1,利用摄像头采集一组织物的图像;步骤2,对采集的图像进行预处理;步骤3,基于小波变换提取图像特征向量;步骤4,基于模糊决策粗糙集对图像特征向量进行约简,获得约简集;步骤5,以约简集作为SVM分类器的输入量来训练疵点检测模型;步骤6,根据步骤1~步骤4的过程,获得待测织物的约简集,将待测织物的约简集作为输入量输入训练好的疵点检测模型,计算待测织物的识别结果。本发明即能降低数据维度,又能提取出对疵点检测有用的信息,提高疵点检测模型的识别精度和实时性。