本发明属于视频内容分类技术领域，具体涉及一种基于视频内容的分类聚合方法及装置，其中方法包括：S1：逐帧处理视频流，得到视频字幕；S2：对视频字幕中每个句子进行分词和词性标注，并保留指定词性的单词构成候选关键词；S3：构建关键词图模型，并将S2中的候选关键词添加至图模型中构成图模型的节点；S4：计算关键词图模型中各节点的权重，并获取若干节点以构成候选标签；若候选标签形成相邻词组，则组合多词标签；S5：选取步骤S4中的候选标签或多词标签作为视频流的标签。通过上述步骤，能够有效对视频流进行分类，大大提高了视频搜索的灵活性及个性化，优化搜索的结果，增强搜索结果的精确度。