CROSS-ATTENTION SYSTEM AND METHOD FOR FAST VIDEO-TEXT RETRIEVAL TASK WITH IMAGE CLIP

    公开(公告)号:WO2022261570A1

    公开(公告)日:2022-12-15

    申请号:PCT/US2022/039442

    申请日:2022-08-04

    Abstract: Systems and methods are provided for improving video-text retrieval tasks by employing a cross-attention dual-encoder. The cross-attention dual-encoder performs inference training for a machine learning/artificial intelligence (ML/AI) model by using [CIS] tokens to interchange and fuse a visual modality and a textual modality together. Cross- attention achieves an inference that is guided by both video and text modalities simultaneously, linear in computation and memory, and leverages features at different modalities. Further, cross-attention improves accuracy and speed of video-text retrieval tasks. For example, a mobile computing device can include a cross-attention dual-encoder training the ML/AI model using cross-attention to learn video, text pair similarities and classifications and predict the most relevant video, text pairs. The mobile computing device can also include a video-text retriever performing video-text retrieval tasks guided by the ML/AI model to select one or more most relevant videos from a plurality of video based on a received text query.

    一种视频数据集标注方法及装置
    3.
    发明申请

    公开(公告)号:WO2022237157A1

    公开(公告)日:2022-11-17

    申请号:PCT/CN2021/137579

    申请日:2021-12-13

    Inventor: 马筱 乔宇 王利民

    Abstract: 本发明公开了一种视频数据集标注方法及装置。该方法包括:根据设定的动作类别选择规则确定数据集标签,该数据集标签表征短时间的瞬时动作和循环动作类型;根据所述数据集标签筛选出匹配的待标注视频;将待标注视频上传至标注工具平台进行动作行为检测和标注,以确定动作行为类型标签以及对应的起始帧和结束帧位置。本发明对于动作行为的边界定义更加精确,并且标注效率和标注质量均有显著提高。

    CONTENT PLAYBACK SYSTEM
    4.
    发明申请

    公开(公告)号:WO2022090305A1

    公开(公告)日:2022-05-05

    申请号:PCT/EP2021/079806

    申请日:2021-10-27

    Inventor: ROBBINS, Stephen

    Abstract: The present invention provides a content playback system comprising a local media store configured to store a plurality of media files, and a playback unit configured to play media files stored in the local media store. The system further comprises a metadata extraction unit configured to extract metadata for each of the plurality of media files stored in the local media store, and a remote server. The remote server is configured to receive the extracted metadata from the metadata extraction unit and, based on the extracted metadata and a media database available to the remote server, generate a user database including identification information of media items contained in the plurality of media files stored in the local media store. The system is further configured to provide a user interface for interacting with the user database. This may enable a user to browse content stored in the local media store via the generated user interface.

    컨텐트와 연관된 텍스트를 제공하기 위한 전자 장치 및 그 동작 방법

    公开(公告)号:WO2022035193A1

    公开(公告)日:2022-02-17

    申请号:PCT/KR2021/010593

    申请日:2021-08-10

    Inventor: 김상헌

    Abstract: 다양한 실시예들에 따르면, 전자 장치로서, 메모리, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 컨텐트의 획득을 위한 어플리케이션을 실행하고, 상기 실행된 어플리케이션에 기반하여, 상기 컨텐트를 획득하고, 상기 컨텐트에 연관된 적어도 하나의 정보를 획득하고, 상기 적어도 하나의 정보에 대응하는 적어도 하나의 제 1 텍스트를 획득하고, 상기 메모리에 미리 저장된 복수의 텍스트들 중 상기 적어도 하나의 제 1 텍스트에 연관된 적어도 하나의 제 2 텍스트를 식별하고, 상기 적어도 하나의 제 1 텍스트를 포함하는 적어도 하나의 제 1 태그 오브젝트 및 상기 적어도 하나의 제 2 텍스트를 포함하는 적어도 하나의 제 2 태그 오브젝트를 표시하고, 상기 표시된 적어도 하나의 제 1 태그 오브젝트 및 상기 표시된 적어도 하나의 제 2 태그 오브젝트 중 태그 오브젝트가 선택되는 경우, 상기 선택된 태그 오브젝트에 대응하는 텍스트를 상기 컨텐트에 연관되도록 메모리에 저장하도록 설정된, 전자 장치가 제공될 수 있다. 그 밖의 다양한 실시예가 가능하다.

    一种行人图片标注方法、装置、存储介质和智能设备

    公开(公告)号:WO2021082692A1

    公开(公告)日:2021-05-06

    申请号:PCT/CN2020/111759

    申请日:2020-08-27

    Inventor: 张国辉 康振

    Abstract: 一种行人图片标注方法、装置、存储介质和智能设备。该方法包括:播放待标注的视频,基于所述待标注的视频包含的每一帧视频图片进行行人检测(S101);获取检测到行人的目标视频图片,提取所述目标视频图片中的行人特征信息(S102);获取所述目标视频图片的图片特征信息(S103);根据所述图片特征信息与所述行人特征信息,对所述目标视频图片进行标注(S104)。该方法可在提高处理海量视频行人图片标注的效率的同时提高标注的精确性,从而使得标注后的行人图片的适用性更高。

    一种资源的标注管理系统
    7.
    发明申请

    公开(公告)号:WO2021082499A1

    公开(公告)日:2021-05-06

    申请号:PCT/CN2020/099354

    申请日:2020-06-30

    Inventor: 赵晗荻

    Abstract: 一种资源的标注管理系统,该系统包括机器标注模块(11)、资源分配模块(12)以及标注资源存储模块(13);其中,所述机器标注模块(11)设置为将原始资源输入机器标注网络模型,得到带有基础标签的基础标注资源,形成基础标注资源集;所述资源分配模块(12)设置为根据标注者的资源分配需求,从所述基础标注资源集中选取待标注的目标标注资源分配给所述标注者;所述标注资源存储模块(13)设置为接收所述标注者提交的带有目标标签的目标标注资源并存储至目标标注资源集,所述目标标签由所述标注者从给定的目标标签模板中进行标签选择生成。

    基于视频搜索的视频推送方法、装置及电子设备

    公开(公告)号:WO2021052041A1

    公开(公告)日:2021-03-25

    申请号:PCT/CN2020/106584

    申请日:2020-08-03

    Inventor: 蒋淳

    Abstract: 一种基于视频搜索的视频推送方法、装置及电子设备。该基于视频搜索的视频推送方法包括:将接收到的搜索关键词发送至服务器(S101);接收服务器返回的与搜索关键词相匹配的至少两个第一视频的第一视频预览信息,至少两个第一视频包括至少两种视频类型的视频,并通过第一展示界面展示第一视频预览信息(S102);接收到针对第一视频预览信息中第一目标预览信息的播放触发操作时,向服务器发送携带第一目标预览信息对应的第一目标视频的标识信息的视频获取请求(S103);接收服务器根据视频获取请求返回的至少两个第二视频及对应的第二视频预览信息,并通过第二展示界面展示第二视频预览信息中第一预定个数的预览信息(S104)。

    短视频关键词提取方法、装置及存储介质

    公开(公告)号:WO2021012493A1

    公开(公告)日:2021-01-28

    申请号:PCT/CN2019/116933

    申请日:2019-11-10

    Inventor: 许剑勇

    Abstract: 一种短视频关键词提取方法、装置以及计算机可读存储介质,所述方法包括:获取短视频集,通过定时截图得到所述短视频集不同帧图像,对所述不同帧图像进行预处理操作,得到目标图像集和标签集,利用差分法和光流法对所述目标图像集分别进行目标检测和姿态跟踪,得到差分图像集和光流图集;利用所述差分图像集、光流图集和标签集对预先构建的短视频关键词提取模型进行训练,得到训练好的短视频关键词提取模型;接收短视频,利用所述训练好的短视频关键词提取模型得到所述短视频的关联词,对所述关联词进行关键词提取,得到所述短视频的关键词。通过以上方式实现了短视频关键词的精准提取。

    数据管理方法、装置、系统、服务器、终端及存储介质

    公开(公告)号:WO2020088542A1

    公开(公告)日:2020-05-07

    申请号:PCT/CN2019/114426

    申请日:2019-10-30

    Abstract: 本申请公开了一种数据管理方法、装置、系统、服务器、终端及存储介质,属于数据处理领域。所述方法包括:接收终端的数据查询请求,数据查询请求携带前端设备的标识、第一开始时间和第一结束时间,第一开始时间和第一结束时间的时间类型为标准时间,标准时间为服务器存储数据的开始时间和结束时间的时间类型;根据前端设备的标识、第一开始时间和第一结束时间,获取前端设备采集的目标数据、第一时差信息以及目标数据的开始时间和结束时间,第一时差信息用于指示前端设备在第一时间段内的时区时间与标准时间的时差;将目标数据、第一时差信息以及目标数据的开始时间和结束时间发送给终端。本申请可以满足前端设备在多个时区的数据管理需求。

Patent Agency Ranking