一种基于情感分布的多模态深度模型构建方法及系统

    公开(公告)号:CN117933269B

    公开(公告)日:2024-06-18

    申请号:CN202410331477.1

    申请日:2024-03-22

    IPC分类号: G06F40/30 G10L15/02 G16H20/70

    摘要: 本发明公开了一种基于情感分布的多模态深度模型构建方法及系统,涉及计算机技术领域,具体步骤为:对采访数据按照情感效价属性进行重组,获得重组文本序列和重组语音序列;利用预训练模型从重组文本序列和重组语音序列提取文本初始语义特征和语音初始语义特征;利用元素感知的注意力机制对级联特征向量中不同的重要性进行学习,获得融合特征向量;利用情感编码将重组文本序列的情感分布信息投射成情感代码,获得情感分布的特征向量;基于融合特征向量和情感分布的特征向量构建多模态深度模型。本发明利用大规模预训练语言模型为句子生成情感标签,并基于不同模态的预训练模型构建多模态融合模型,减少在有限数据样本下出现的过拟合现象。

    基于域增量学习的抑郁障碍检测模型训练方法及电子设备

    公开(公告)号:CN117912640A

    公开(公告)日:2024-04-19

    申请号:CN202410316692.4

    申请日:2024-03-20

    摘要: 本发明公开了基于域增量学习的抑郁障碍检测模型训练方法及电子设备,属于数据处理技术领域。该方法包括获取训练数据集,输入当前域和前一域,进行特征提取及预测,利用JS散度以及训练数据集中的类别信息动态学习类定制的阈值,为训练数据集中的每个类使用相应类定制的阈值进行样本选择,将样本选择结果进行域内对齐,区分样本相似性,有效缩小这些领域之间的差距。这样的对齐过程鼓励从各个领域提取的特征变得更加紧凑,从而显著提高了对新数据的适应性,减轻了灾难性遗忘,有利于提高抑郁障碍检测准确性及效率。

    一种语义引导的暗光图像增强方法

    公开(公告)号:CN111292273B

    公开(公告)日:2023-03-24

    申请号:CN202010148833.8

    申请日:2020-03-05

    IPC分类号: G06T5/00

    摘要: 本发明提供了一种语义引导的暗光图像增强方法,属于图像处理技术领域,其包括以下步骤S10、将原始暗光RGB图像转换为HSV颜色空间图像;S20、使用融合增强模型对HSV颜色空间图像中V通道明度进行增强,得到图像明度增强后的V通道;S30、将图像明亮度增强后的V通道与HSV颜色空间图像中的H通道、S通道一起转换回RGB颜色空间,得到亮度增强RGB图像。本发明提供了一种语义引导暗光图像增强方法,可以提高暗光图像中图像内容的可视性,以揭示隐藏在黑暗中的细节,且能够保持图像在视觉上的自然性。

    一种图像对比度增强方法

    公开(公告)号:CN110197471B

    公开(公告)日:2023-03-14

    申请号:CN201910154634.5

    申请日:2019-03-01

    IPC分类号: G06T5/40

    摘要: 本发明公开一种图像对比度增强方法,所述增强方法包括:采集待处理的图像,获得原始图像;将所述原始图像采用色彩处理方法进行色彩处理,获得色彩处理图像;将所述色彩处理图像进行数据预处理,获得预处理色彩图像;将所述原始图像进行预增强处理,获得第一增强图像;根据所述色彩处理图像、所述第一增强图像和所述原始图像采用图像增强方法,获得第二增强图像。本发明提供的图像增强方法能够在像素级别感知图像的结构,进行非均一的增强,产生对比度得到增强且兼具自然性的结果。

    一种基于空间信息引导的实时语义分割方法

    公开(公告)号:CN112215848A

    公开(公告)日:2021-01-12

    申请号:CN202011137108.7

    申请日:2020-10-22

    IPC分类号: G06T7/10 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于空间信息引导的实时语义分割方法,具体步骤如下:获取输入图像;将所述输入图像输入主干网络;利用所述主干网络对所述输入图片进行编码,得到输入特征;所述输入特征映射得到第一高维特征和全局上下文特征;利用所述第一高维特征和所述全局上下文特征作为空间细节引导的上下文传播模块的输入;利用所述空间细节引导的上下文传播模块内不同路径交替,进行空间信息重构;得到分割预测结果。本发明在保证分割精度的前提下,该方法可以进一步提升模型的效率。该网络是一种典型的“编码器‑解码器”的网络结构。其中,编码器旨在对输入图片进行编码,在解码的过程中引入了空间细节信息的引导。