本发明涉及人工智能理解和环境交互，具体涉及一种用于在线视频视觉关系检测的自适应时间聚合网络及方法。本发明采用的动态缓冲存储器来保存历史视频片段可以固定存储内容的大小，不会因为时间而使得存储内容越来越大。本发明采用的步进采样策略通过对视频帧与当前关键帧的关联性的强弱来设置采样频率，可以在保持对视频中的对象在时间维度上关系的检测结果的准确性的同时减少网络所需要的运算消耗。本发明所提出的自适应时空激活模块和基于注意力的知识状态融合模块使该发明能够自适应的提取和融合历史信息和当前状态，能够检测对象的动态关系和静态关系。