一种视频定位方法、装置及电子设备

    公开(公告)号:CN110225368A

    公开(公告)日:2019-09-10

    申请号:CN201910570609.5

    申请日:2019-06-27

    IPC分类号: H04N21/234 H04N21/44 G06K9/00

    摘要: 本发明公开了一种视频定位方法、装置及电子设备。其中,方法包括:获取视频以及语句;分别对所述视频和所述语句进行特征提取,得到对应的视频片段特征和词特征;将所述视频片段特征和所述词特征进行融合,得到融合特征;通过时序卷积神经网络将所述融合特征基于时序逐层聚合和关联,得到多层时序卷积特征图;对所述多层时序卷积特征图中每层特征图进行语义调制,得到调制后的特征图,以及对所述调制后的特征图进行时序卷积操作,得到与所述语句的语义相关的目标视频片段。通过本发明,能够快速和高精度地定位与输入的语句的语义相关的目标视频片段。

    一种视频定位方法、装置及电子设备

    公开(公告)号:CN110225368B

    公开(公告)日:2020-07-10

    申请号:CN201910570609.5

    申请日:2019-06-27

    IPC分类号: H04N21/234 H04N21/44 G06K9/00

    摘要: 本发明公开了一种视频定位方法、装置及电子设备。其中,方法包括:获取视频以及语句;分别对所述视频和所述语句进行特征提取,得到对应的视频片段特征和词特征;将所述视频片段特征和所述词特征进行融合,得到融合特征;通过时序卷积神经网络将所述融合特征基于时序逐层聚合和关联,得到多层时序卷积特征图;对所述多层时序卷积特征图中每层特征图进行语义调制,得到调制后的特征图,以及对所述调制后的特征图进行时序卷积操作,得到与所述语句的语义相关的目标视频片段。通过本发明,能够快速和高精度地定位与输入的语句的语义相关的目标视频片段。

    一种视频动态缩略图的生成方法、模型训练的方法及装置

    公开(公告)号:CN109885723B

    公开(公告)日:2023-10-13

    申请号:CN201910126750.6

    申请日:2019-02-20

    摘要: 本发明公开了一种视频动态缩略图的生成方法,包括:获取待处理文本以及待处理视频,待处理文本包括N个词语,待处理视频包括T个片段,每个片段包括多帧图像,N为大于1的整数,T为大于1的整数;对待处理文本进行编码得到文本编码特征集合,对待处理视频进行编码得到视频编码特征集合;根据文本编码特征集合以及视频编码特征集合,获取交互特征集合;根据交互特征集合获取图卷积视频特征集合;通过时序条件指针网络生成图卷积视频特征集合所对应的至少一个目标片段。本发明还公开了一种模型训练的方法及装置。本发明能够提升搜索的灵活度和广泛性,其表现力和所包含的视频内容更容易满足用户对于视频内容概览的诉求。

    对数据源生成语义描述的方法、设备和电子设备

    公开(公告)号:CN111291221B

    公开(公告)日:2022-08-26

    申请号:CN202010047811.2

    申请日:2020-01-16

    IPC分类号: G06F16/78 G06F40/30

    摘要: 公开了一种对数据源生成语义描述的方法、设备、电子设备和计算机可读存储介质。该方法包括:获取数据源的数据编码特征;从范例句集合中获取至少一个范例句,并且获取所述至少一个范例句的句法编码特征;以及基于所述数据编码特征和所述句法编码特征,生成所述语义描述。本公开的对数据源生成语义描述的方法可以生成由句法指导的语义描述,提高了用户的阅读体验。

    对数据源生成语义描述的方法、设备和电子设备

    公开(公告)号:CN111291221A

    公开(公告)日:2020-06-16

    申请号:CN202010047811.2

    申请日:2020-01-16

    IPC分类号: G06F16/78 G06F40/30

    摘要: 公开了一种对数据源生成语义描述的方法、设备、电子设备和计算机可读存储介质。该方法包括:获取数据源的数据编码特征;从范例句集合中获取至少一个范例句,并且获取所述至少一个范例句的句法编码特征;以及基于所述数据编码特征和所述句法编码特征,生成所述语义描述。本公开的对数据源生成语义描述的方法可以生成由句法指导的语义描述,提高了用户的阅读体验。

    视频描述语句的生成方法及相关设备

    公开(公告)号:CN111988673B

    公开(公告)日:2023-05-23

    申请号:CN202010764613.8

    申请日:2020-07-31

    IPC分类号: H04N21/84 G06N3/0442 G06N3/08

    摘要: 本申请的实施例提供了一种视频描述语句的生成方法及相关设备,该方法包括:获取目标范例句的句法特征向量;根据所述句法特征向量确定所要生成视频描述语句的句法,得到句法信息;根据所述句法信息和目标视频的视频语义特征向量确定所述所要生成视频描述语句对应于所述句法的语义,得到语义信息;根据所述语义信息生成所述目标视频的视频描述语句。由此,可以实现通过选用不同的目标范例句来生成不同句法结构的视频描述语句,解决了视频描述语句句法单一的问题。

    视频描述语句的生成方法及相关设备

    公开(公告)号:CN111988673A

    公开(公告)日:2020-11-24

    申请号:CN202010764613.8

    申请日:2020-07-31

    IPC分类号: H04N21/84 G06N3/04 G06N3/08

    摘要: 本申请的实施例提供了一种视频描述语句的生成方法及相关设备,该方法包括:获取目标范例句的句法特征向量;根据所述句法特征向量确定所要生成视频描述语句的句法,得到句法信息;根据所述句法信息和目标视频的视频语义特征向量确定所述所要生成视频描述语句对应于所述句法的语义,得到语义信息;根据所述语义信息生成所述目标视频的视频描述语句。由此,可以实现通过选用不同的目标范例句来生成不同句法结构的视频描述语句,解决了视频描述语句句法单一的问题。

    一种视频动态缩略图的生成方法、模型训练的方法及装置

    公开(公告)号:CN109885723A

    公开(公告)日:2019-06-14

    申请号:CN201910126750.6

    申请日:2019-02-20

    IPC分类号: G06F16/70 G06N3/04

    摘要: 本发明公开了一种视频动态缩略图的生成方法,包括:获取待处理文本以及待处理视频,待处理文本包括N个词语,待处理视频包括T个片段,每个片段包括多帧图像,N为大于1的整数,T为大于1的整数;对待处理文本进行编码得到文本编码特征集合,对待处理视频进行编码得到视频编码特征集合;根据文本编码特征集合以及视频编码特征集合,获取交互特征集合;根据交互特征集合获取图卷积视频特征集合;通过时序条件指针网络生成图卷积视频特征集合所对应的至少一个目标片段。本发明还公开了一种模型训练的方法及装置。本发明能够提升搜索的灵活度和广泛性,其表现力和所包含的视频内容更容易满足用户对于视频内容概览的诉求。