公开(公告)号：CN114882590B

公开(公告)日：2024-04-02

申请号：CN202210484754.3

申请日：2022-05-06

申请人： 中国科学技术大学

发明人： 查正军 ,  曹洋 ,  王洋 ,  吴枫 ,  谭赣超

IPC分类号： G06V40/20 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/084

摘要： 本发明公开了一种基于事件相机的多粒度时空特征感知的唇读方法,包括：1、首次提出了基于事件相机的唇读技术方案；2、根据事件流信号的特性，将原始异步信号流数据转换成了多时间分辨率事件帧；3.构建了一个双流网络来提取不同粒度的时空特征，其中高时间分辨率分支提取精细的时间特征，低时间分辨率提取完整的空间特征；4.构建序列模型进行特征序列解码，将特征提取网络提取到的多粒度时空特征解码为事件流信号对应的单词的概率。本发明所提出的基于事件相机的唇读方案能够解决传统相机进行唇读时存在的视频时间分辨率低、视觉冗余信息多、极端光照条件下性能差以及实际部署时设备功耗大的问题。

公开(公告)号：CN114882590A

公开(公告)日：2022-08-09

申请号：CN202210484754.3

申请日：2022-05-06

申请人： 中国科学技术大学

发明人： 查正军 ,  曹洋 ,  王洋 ,  吴枫 ,  谭赣超

IPC分类号： G06V40/20 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于事件相机的多粒度时空特征感知的唇读方法,包括：1、首次提出了基于事件相机的唇读技术方案；2、根据事件流信号的特性，将原始异步信号流数据转换成了多时间分辨率事件帧；3.构建了一个双流网络来提取不同粒度的时空特征，其中高时间分辨率分支提取精细的时间特征，低时间分辨率提取完整的空间特征；4.构建序列模型进行特征序列解码，将特征提取网络提取到的多粒度时空特征解码为事件流信号对应的单词的概率。本发明所提出的基于事件相机的唇读方案能够解决传统相机进行唇读时存在的视频时间分辨率低、视觉冗余信息多、极端光照条件下性能差以及实际部署时设备功耗大的问题。