公开(公告)号：CN117033699A

公开(公告)日：2023-11-10

申请号：CN202310976862.7

申请日：2023-08-04

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  贺强 ,  黄泽远 ,  邓小明 ,  王宏安

IPC: G06F16/74 ,  G06F16/783 ,  G06F16/738 ,  G06V40/16

Abstract: 本发明涉及一种融合视频多模态内容的人物可视化方法及装置。该方法包括：抽取目标视频在各模态下的原始数据；依据各模态下抽取的原始数据的最小尺度，对齐各模态下的原始数据；基于对齐后的各模态下的原始数据，在设定尺度范围内依据不同模态特性提取模态特征数据；基于提取的模态特征数据，针对视频摘要的可视化形式进行人物可视化，并针对视频播放器的可视化形式进行人物可视化；基于视频播放器的可视化形式，进行视频播放及播放过程中可视化元素的交互实现。本发明创新性地使用融合视频内容的多模态人物摘要的可视化形式，并创新性地使用增强人物非语言表达的视频播放器的可视化形式，能够促进对视频人物肢体语言与表达技巧的快速理解。

公开(公告)号：CN113743271B

公开(公告)日：2023-08-01

申请号：CN202110995105.5

申请日：2021-08-27

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  黄泽远 ,  马腾飞 ,  宋建成 ,  邓小明 ,  王宏安

IPC: G06V20/40

Abstract: 本发明公开一种基于多模态情感的视频内容有效性可视分析方法与系统。该方法包括：收集特定类型的视频与其有效性客观指标的标签；抽取视频中各种模态的情感数据；在抽取的情感数据的基础上，结合领域实际需求确定有效性因素，并计算得出不同有效性因素的数值；对有效性因素和有效性客观指标之间的相关性进行分析，得出有效性因素的相关性结果；将抽取得到的情感数据与有效性因素的相关性结果以不同的可视化形式进行展示，供用户进行以情感为主线的从整体到局部的多层次探索。本发明借助可视化方法对视频内容有效性进行分析，在量化视频内容有效性因素及实现客观分析方面具有优势，能够通过直观、有效的方式提供给用户具有视觉冲击力的分析结果。

公开(公告)号：CN113743267B

公开(公告)日：2023-06-16

申请号：CN202110980775.X

申请日：2021-08-25

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  黄泽远 ,  马腾飞 ,  宋建成 ,  邓小明 ,  向帆 ,  王宏安

IPC: G06V20/40 ,  G06V40/16 ,  G06F40/30

Abstract: 本发明公开了一种基于螺旋和文本的多模态视频情感可视化方法，包括：抽取目标视频在各模态下的情感数据；依据各模态下抽取情感数据的最小尺度，对齐各模态下的情感数据；基于对齐后的情感数据，进行螺旋可视化和/或文本可视化，生成情感可视化结果。本发明创新性地利用螺旋形式可视化方法与文本数据可视化方法，能够涵盖更多的多模态信息，更好地表达时序关系中的多模态信息，辅助用户更好地理解视频中的多模态情感数据，自动化实现数据可视化，具有良好的扩展性。

公开(公告)号：CN113743267A

公开(公告)日：2021-12-03

申请号：CN202110980775.X

申请日：2021-08-25

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  黄泽远 ,  马腾飞 ,  宋建成 ,  邓小明 ,  向帆 ,  王宏安

IPC: G06K9/00 ,  G06F40/30

Abstract: 本发明公开了一种基于螺旋和文本的多模态视频情感可视化方法，包括：抽取目标视频在各模态下的情感数据；依据各模态下抽取情感数据的最小尺度，对齐各模态下的情感数据；基于对齐后的情感数据，进行螺旋可视化和/或文本可视化，生成情感可视化结果。本发明创新性地利用螺旋形式可视化方法与文本数据可视化方法，能够涵盖更多的多模态信息，更好地表达时序关系中的多模态信息，辅助用户更好地理解视频中的多模态情感数据，自动化实现数据可视化，具有良好的扩展性。

公开(公告)号：CN116910302A

公开(公告)日：2023-10-20

申请号：CN202310976858.0

申请日：2023-08-04

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  黄泽远 ,  贺强 ,  邓小明 ,  王宏安

IPC: G06F16/735 ,  G06F16/783

Abstract: 本发明涉及一种多模态视频内容有效性反馈可视分析方法与系统。该方法包括：收集某种特定类型的视频与其有效性客观指标的标签；量化抽取视频中所关注内容的多模态数据特征，进而结合领域实际需求确定有效性因素，并计算得出不同内容的有效性因素数值；对有效性因素与有效性客观指标之间的相关性进行分析，并提取待分析视频的有效性反馈结果；结合待分析视频的数据产生参考视频推荐结果；将待分析视频的有效性反馈结果及其多模态数据上下文以不同可视化形式进行展示，供用户进行对有效性反馈结果的层次化探索。本发明提供了一个视频内容有效性反馈可视分析的全流程解决方案，可以更好地支持用户了解有效性反馈的结果，并有针对性地进行探索。

公开(公告)号：CN113743271A

公开(公告)日：2021-12-03

申请号：CN202110995105.5

申请日：2021-08-27

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  黄泽远 ,  马腾飞 ,  宋建成 ,  邓小明 ,  王宏安

IPC: G06K9/00

Abstract: 本发明公开一种基于多模态情感的视频内容有效性可视分析方法与系统。该方法包括：收集特定类型的视频与其有效性客观指标的标签；抽取视频中各种模态的情感数据；在抽取的情感数据的基础上，结合领域实际需求确定有效性因素，并计算得出不同有效性因素的数值；对有效性因素和有效性客观指标之间的相关性进行分析，得出有效性因素的相关性结果；将抽取得到的情感数据与有效性因素的相关性结果以不同的可视化形式进行展示，供用户进行以情感为主线的从整体到局部的多层次探索。本发明借助可视化方法对视频内容有效性进行分析，在量化视频内容有效性因素及实现客观分析方面具有优势，能够通过直观、有效的方式提供给用户具有视觉冲击力的分析结果。