公开(公告)号：CN113822117A

公开(公告)日：2021-12-21

申请号：CN202110627161.3

申请日：2021-06-04

申请人： 华南理工大学 ,  腾讯科技(深圳)有限公司

发明人： 何盛烽 ,  任苏成 ,  孙子荀 ,  邓大付 ,  王巨宏 ,  郑宇飞

IPC分类号： G06K9/00 ,  G06K9/62 ,  G06N3/08 ,  G06N3/04

摘要： 本申请实施例公开一种基于人工智能的数据处理方法、设备以及计算机可读存储介质，其中，方法包括：获取第一视频帧、第二视频帧、第一光流数据以及第二光流数据；根据第一视频帧、第二视频帧、第一光流数据以及第二光流数据获取显著对象特征；根据第一视频帧以及第一光流数据获取第一运动对象特征，根据第二视频帧以及第二光流数据获取第二运动对象特征；根据第一视频帧以及第二视频帧获取第一循环对象特征，根据第一光流数据以及第二光流数据获取第二循环对象特征；根据显著对象特征、第一运动对象特征、第二运动对象特征、第一循环对象特征以及第二循环对象特征，识别视频中的目标对象。采用本申请，可以提高视频中的目标对象的识别准确率。

公开(公告)号：CN113570509A

公开(公告)日：2021-10-29

申请号：CN202110062892.8

申请日：2021-01-18

申请人： 华南理工大学 ,  腾讯科技(深圳)有限公司

发明人： 何盛烽 ,  任苏成 ,  孙子荀 ,  邓大付 ,  王巨宏 ,  刘婷婷

IPC分类号： G06T5/00 ,  G06K9/46 ,  G06K9/32 ,  G06N3/04 ,  G06N3/08

摘要： 本申请实施例提供了一种数据处理方法以及计算机设备，该方法涉及人工智能技术中的目标检测技术，可以应用在视频显著性检测领域；包括：获取多媒体数据对应的数据结构特征，生成数据结构特征对应的激励图像；激励图像用于突出多媒体数据中的显著对象所在的预测区域；获取多媒体数据对应的显著内容特征，根据激励图像对显著内容特征进行特征增强，得到激励内容特征；生成激励内容特征对应的对象区域图像；对象区域图像用于检测多媒体数据中的显著对象。采用本申请实施例，可以提高多媒体数据的显著性检测准确度。

公开(公告)号：CN113822117B

公开(公告)日：2024-05-14

申请号：CN202110627161.3

申请日：2021-06-04

申请人： 华南理工大学 ,  腾讯科技(深圳)有限公司

发明人： 何盛烽 ,  任苏成 ,  孙子荀 ,  邓大付 ,  王巨宏 ,  郑宇飞

IPC分类号： G06V20/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本申请实施例公开一种基于人工智能的数据处理方法、设备以及计算机可读存储介质，其中，方法包括：获取第一视频帧、第二视频帧、第一光流数据以及第二光流数据；根据第一视频帧、第二视频帧、第一光流数据以及第二光流数据获取显著对象特征；根据第一视频帧以及第一光流数据获取第一运动对象特征，根据第二视频帧以及第二光流数据获取第二运动对象特征；根据第一视频帧以及第二视频帧获取第一循环对象特征，根据第一光流数据以及第二光流数据获取第二循环对象特征；根据显著对象特征、第一运动对象特征、第二运动对象特征、第一循环对象特征以及第二循环对象特征，识别视频中的目标对象。采用本申请，可以提高视频中的目标对象的识别准确率。

公开(公告)号：CN113822125B

公开(公告)日：2024-04-30

申请号：CN202110703815.6

申请日：2021-06-24

申请人： 华南理工大学 ,  腾讯科技(深圳)有限公司

发明人： 何盛烽 ,  任苏成 ,  孙子荀 ,  邓大付 ,  王巨宏 ,  刘婷婷

IPC分类号： G06V40/16 ,  G06V40/20 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/084 ,  G06V20/40 ,  G06V10/80

摘要： 本申请涉及一种唇语识别模型的处理方法、装置、计算机设备和存储介质。所述方法涉及人工智能的计算机视觉技术，将整个蒸馏过程划分为交替训练的学生训练阶段与大师训练阶段，在大师训练阶段，利用临时训练样本对前次交替训练更新的学生模型再次更新，获得的临时学生模型通过验证样本向大师模型反馈当前的学习状态，引导大师模型根据当前反馈自适应地调整教学知识；此外，大师模型还接受大师训练样本的监督，通过大师训练样本所确定的大师识别损失来调整教学内容。接着在学生训练阶段对学生模型进行训练，如此反复迭代多次之后根据学生模型获得唇语识别模型。上述方案能够在提升大师模型教学知识准确性的同时灵活调整教学内容，提升知识蒸馏效果。

公开(公告)号：CN113822125A

公开(公告)日：2021-12-21

申请号：CN202110703815.6

申请日：2021-06-24

申请人： 华南理工大学 ,  腾讯科技(深圳)有限公司

发明人： 何盛烽 ,  任苏成 ,  孙子荀 ,  邓大付 ,  王巨宏 ,  刘婷婷

IPC分类号： G06K9/00 ,  G06K9/62

摘要： 本申请涉及一种唇语识别模型的处理方法、装置、计算机设备和存储介质。所述方法涉及人工智能的计算机视觉技术，将整个蒸馏过程划分为交替训练的学生训练阶段与大师训练阶段，在大师训练阶段，利用临时训练样本对前次交替训练更新的学生模型再次更新，获得的临时学生模型通过验证样本向大师模型反馈当前的学习状态，引导大师模型根据当前反馈自适应地调整教学知识；此外，大师模型还接受大师训练样本的监督，通过大师训练样本所确定的大师识别损失来调整教学内容。接着在学生训练阶段对学生模型进行训练，如此反复迭代多次之后根据学生模型获得唇语识别模型。上述方案能够在提升大师模型教学知识准确性的同时灵活调整教学内容，提升知识蒸馏效果。