本发明公开了一种基于视频语义建模的视频浏览方法，包括ViMeta-VU系统、视频语义浏览界面、2.5维affirn变换器以及智能代理；ViMeta-VU系统是语义视频对象分级跟踪处理系统；2.5维affirn变换器用于统计变化检测与时空滤器相合的语义视频对象平面自动分割，包括如下步骤：视频分割、视频语义表征和建模、视频的多址访问和移动代理。本发明的技术意义在于基于视频语义信息基础上推出了提供的某些行为的智能代理，如浏览行为、集中行为、参加行为等。解决方案不仅提供了视频对象的快速访问，也提供了灵活性，以满足视频镜头的需要，将有利于视频浏览效率的提高。