视频文本匹配模型训练、视频文本匹配方法和装置

    公开(公告)号:CN115204301A

    公开(公告)日:2022-10-18

    申请号:CN202210868349.1

    申请日:2022-07-22

    IPC分类号: G06K9/62 G06N3/08

    摘要: 本申请涉及一种视频文本匹配模型训练、视频文本匹配方法、装置、计算机设备、存储介质和计算机程序产品。本申请涉及人工智能技术。所述方法包括:将训练样本对集合中训练视频对应的视频特征、参考特征和训练文本对应的训练文本特征输入初始视频文本匹配模型;参考特征包括音频特征和动作特征中的至少一种;基于同一训练视频对应的参考特征对相应的视频特征进行特征增强,得到训练视频对应的参考增强视频特征;将训练文本对应的训练文本特征,分别和训练视频对应的视频特征、参考增强视频特征进行相似度计算;基于各个训练样本对所对应的相似度集合训练初始视频文本匹配模型,得到目标视频文本匹配模型。采用本方法能够提高模型预测准确性。

    图像处理模型的训练方法、图像处理方法、装置及设备

    公开(公告)号:CN117274069A

    公开(公告)日:2023-12-22

    申请号:CN202211160734.7

    申请日:2022-09-22

    摘要: 本申请公开了一种图像处理模型的训练方法、图像处理方法、装置及设备,属于图像处理技术领域。该训练方法包括:基于样本缺损图像中有效区域的纹理特征和样本缺损图像的粗略结构特征,对样本缺损图像中缺损区域的纹理特征进行填充,得到样本缺损图像的完整纹理特征;进一步地,基于完整纹理特征和粗略结构特征,得到样本缺损图像的细化结构特征;在基于完整纹理特征和细化结构特征得到样本缺损图像的预测修复图像之后,确定损失值,实现模型训练。由于上述方法实现了纹理特征和结构特征之间的交互引导,因此基于训练后的图像处理模型进行图像修复时,修复后的图像中缺损区域与有效区域的纹理和结构能够在精细程度上保持一致,图像修复效果较好。

    音视频数据处理方法、装置、设备和存储介质

    公开(公告)号:CN117221464A

    公开(公告)日:2023-12-12

    申请号:CN202211170124.5

    申请日:2022-09-26

    IPC分类号: H04N5/265 G06V40/50 G06V40/16

    摘要: 本公开的实施例提供了一种音视频数据处理方法、装置、设备和计算机可读存储介质。该方法利用驱动音视频和待驱动视频进行相互驱动,通过在双向驱动过程中对表情和姿态信息进行解耦合控制以建立可互相监督的多个视频对,从而基于这些视频对的相互监督生成具有驱动音视频的姿态和表情信息的最终合成视频。通过该方法能够在由于没有驱动音视频的成对视频数据而缺少监督信息的情况下将姿态和表情解耦合并且独立控制,并且可以直接建立被驱动图像和驱动图像之间的姿态和表情联系从而避免了隐式的中间结果所引入的额外误差,在能够直观地获得单独驱动姿态和表情中的任一种信息的处理结果的同时实现了更高效准确的音视频驱动的说话人脸视频生成。

    图像修复方法、装置、设备及介质

    公开(公告)号:CN113570511A

    公开(公告)日:2021-10-29

    申请号:CN202110075104.9

    申请日:2021-01-20

    IPC分类号: G06T5/00 G06T5/50

    摘要: 本申请公开了一种图像修复方法、装置、设备及介质,属于图像修复领域。方法包括:获取缺损图像和掩码图像,所述掩码图像用于指示所述缺损图像上的缺失区域;在至少两个尺度上对所述缺损图像上的所述缺失区域进行图像修复,将所述至少两个尺度上的修复结果进行融合,得到补全图像;所述至少两个尺度包括对所述缺损图像进行上采样或下采样后的分辨率尺度;输出所述补全图像。该方法在至少两个尺度上对缺损图像上的缺失区域进行图像修复,并将所述至少两个尺度上的修复结果进行融合,能更好地防止信息丢失,保全原始缺损图像的信息,使修复得到的补全图像更加清楚完整。

    非刚性点集配准方法、装置及存储介质

    公开(公告)号:CN118521618A

    公开(公告)日:2024-08-20

    申请号:CN202410630555.8

    申请日:2024-05-21

    IPC分类号: G06T7/33 G06V10/762

    摘要: 本申请实施例提供一种非刚性点集配准方法、装置及存储介质,所述方法包括:获取目标初始状态的源点集;基于非刚性点集配准损失函数,将所述源点集作为聚类中心,将目标点集作为聚类样本,进行无监督聚类获取目标点集,所述目标点集用于表示非刚性变形后的目标的点集结果,所述非刚性点集配准损失函数是基于#imgabs0#低秩近似方法确定的。本申请实施例提供的非刚性点集配准方法、装置及存储介质,通过获取目标初始状态的源点集,并根据非刚性点集配准损失函数,将所述源点集作为聚类中心,将目标点集作为聚类样本,进行无监督聚类,可以获取用于表示非刚性变形后的目标点集,从而能够在在不影响优化轨迹的情况下,提高非刚性点集配准的准确率。

    基于几何基元装配的点云结构化建模方法、装置及设备

    公开(公告)号:CN116821988A

    公开(公告)日:2023-09-29

    申请号:CN202310747570.6

    申请日:2023-06-21

    IPC分类号: G06F30/10 G06T17/20

    摘要: 本发明提供一种基于几何基元装配的点云结构化建模方法、装置及设备,其中方法包括:获取点云数据,并对点云数据进行二次基元检测,得到初始几何基元分布;对初始几何基元分布进行优化,得到目标几何基元分布,并确定目标几何基元分布对应的几何基元的参数;基于几何基元的参数,生成几何基元对应的多个代理网格,并对多个代理网格两两求交,得到多个候选曲面块;对多个候选曲面块进行筛选,得到活动候选曲面块;基于活动候选曲面块,装配得到目标表面网格。本发明提供的方法、装置、及设备,采用了多种二次基元而非单一平面基元,减少了近似物体所需的几何基元数量;并对多个候选曲面块进行筛选,从而提高了装配得到目标表面网格的效率。

    基于图像通道相关性的图像鉴别系统、方法、装置

    公开(公告)号:CN111222564B

    公开(公告)日:2023-05-23

    申请号:CN202010003281.1

    申请日:2020-01-02

    摘要: 本发明属于数字图像技术领域,具体涉及一种基于图像通道相关性的图像鉴别系统、方法、装置,本发明系统包括多个混合特征提取模块,用于获取待鉴别图像的混合有通道和邻域相关性的特征的融合特征;特征融合模块,将多个所述混合特征提取模块输出的融合特征叠加为一个总特征映射,并通过多个卷积将所述总特征映射融合为一个高维度的特征表示;图像分类模块,基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率,并将分类概率大的作为鉴别结果输出。本发明提提升了卷积网络对渲染图像的识别准确率和效率。

    融合小波变换和注意力机制的图像增强方法及装置

    公开(公告)号:CN115170410A

    公开(公告)日:2022-10-11

    申请号:CN202210693209.5

    申请日:2022-06-17

    摘要: 本发明提供一种融合小波变换和注意力机制的图像增强方法及装置,该方法包括:将目标图像输入增强模型中的特征提取分支模型,得到目标图像的多个不同尺度的第一特征图;将目标图像输入增强模型中图像增强分支模型的第一下采样模块,得到目标图像的第二特征图;将第二特征图和第一特征图输入图像增强分支模型的第一上采样模块,得到目标图像的第三特征图;第一上采样模块和第一下采样模块均融合小波变换和注意力机制;将目标图像的第三特征图输入图像增强分支模型的第三输出层,得到目标图像的增强图像。本发明实现在图像增强过程中融合小波变换和注意力机制,以实现在自适应增强目标图像的同时抑制噪声,进而提高增强图像的质量。

    暗光图像物体检测硬件实现的方法、系统及电子设备

    公开(公告)号:CN114155419A

    公开(公告)日:2022-03-08

    申请号:CN202111266606.6

    申请日:2021-10-28

    摘要: 本发明公开了暗光图像物体检测硬件实现的方法、系统及电子设备,方法包括:获取输入图像数据、N个增强权重集合以及M个识别权重集合;根据N个增强权重集合依次对第一像素数据计算,得到第二像素数据;根据M个识别权重集合依次对第二像素数据计算,得到第三像素数据;根据第三像素数据确定暗光图像物体检测结果。本发明通过将暗光图像物体检测硬件实现降低了算法部署系统的功耗,并且相比于传统计算机系统计算效率得到了提升,提高了使用范围。将暗光增强算法和目标识别算法相结合,提高了对暗光图像物体检测识别率和算法计算效率。