公开(公告)号：CN118470608B

公开(公告)日：2024-10-22

申请号：CN202410909729.4

申请日：2024-07-09

Applicant: 山东大学

Inventor： 许信顺 ,  苏文浩 ,  罗昕 ,  陈振铎

IPC: G06V20/40 ,  G06F18/25 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明涉及视频异常检测技术领域，具体公开了一种基于特征增强和融合的弱监督视频异常检测方法及系统，方法包括：将输入视频切分成若干视频片段，通过视觉特征编码器对每个视频片段进行特征提取，获得视频片段的泛化视觉特征表示，通过文本特征编码器得到标签的文本类嵌入；通过时序特征增强网络对视觉特征表示从局部和全局学习时序依赖关系，得到时序增强的视觉特征表示；将时序增强的视觉特征表示与文本类嵌入进行特征融合，得到视觉语言对齐图；将视觉语言对齐图输入至训练好的视频异常分类器，得到视频异常检测结果。

公开(公告)号：CN118296171B

公开(公告)日：2024-08-13

申请号：CN202410718175.X

申请日：2024-06-05

Applicant: 山东大学

Inventor： 罗昕 ,  张崇宇 ,  陈振铎 ,  许信顺

IPC: G06F16/53 ,  G06N20/00

Abstract: 本发明涉及图像哈希检索技术领域，公开了基于自步学习加权的在线图像哈希检索方法及系统，其中方法，包括：基于样本级别和类别级别自步学习加权目标函数以及成对相似性约束目标函数，确定第一总体目标函数；基于哈希函数的目标函数，确定第二总体目标函数；对两个总体目标函数采用迭代优化算法，解决变量的优化问题；第#imgabs0#轮目标函数优化结束后，得到最新的哈希函数；采用最新的哈希函数，对第#imgabs1#轮流数据进行处理，得到第#imgabs2#轮流数据的哈希码；计算第#imgabs3#轮流数据的哈希码，与所有流数据哈希码之间的距离，将距离最小的流数据，作为第#imgabs4#轮流数据相似的检索结果进行输出。增强哈希函数的鲁棒性和映射能力，提高在线图像哈希检索的效果。

公开(公告)号：CN117809320A

公开(公告)日：2024-04-02

申请号：CN202311794346.9

申请日：2023-12-25

Applicant: 山东大学

Inventor： 许信顺 ,  杜瑞艳 ,  罗昕 ,  陈振铎

IPC: G06V30/32 ,  G06V30/148 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明提出了基于深度学习的试卷手写数学公式识别方法及系统，包括：基于模板图像将获取的试卷图像中的数学公式进行检测和切分：检测获取试卷作答区域图像中的独立公式，计算每个独立公式在原始试卷图像所处位置的边界框，基于边界框切分公式；将切分得到的独立数学公式图像用训练好的识别模型进行识别，识别模型为结合公式图像全局特征和局部特征的多尺度注意力编解码模型，其中，编码器提取公式图像特征后，全局字符统计模块和局部字符分类模块为解码器模块提供全局信息和局部信息，基于多尺度注意力机制的解码器进而解码公式图像特征对应的预测序列；将经过识别模型识别后转换为LaTeX格式，将公式图像和对应预测结果进行保存。

公开(公告)号：CN116385946A

公开(公告)日：2023-07-04

申请号：CN202310658383.0

申请日：2023-06-06

Applicant: 山东大学

Inventor： 罗昕 ,  王妍 ,  陈振铎 ,  许信顺

IPC: G06V20/40 ,  G06V10/22 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06F16/783 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及跨媒体检索技术领域，本发明公开了面向视频的目标片段定位方法、系统、存储介质及设备，包括：获取视频和查询，并分别进行特征提取；分别对视频特征和查询特征进行编码后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。提高了检索速度、并实现了可扩展性。

公开(公告)号：CN114925238B

公开(公告)日：2022-10-28

申请号：CN202210849763.8

申请日：2022-07-20

Applicant: 山东大学

Inventor： 罗昕 ,  王妍 ,  王娜 ,  陈振铎 ,  许信顺

IPC: G06F16/783 ,  G06F16/78 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明提供了一种基于联邦学习的视频片段检索方法及系统，属于联邦学习技术领域，所述方案通过采用基于串行学习策略的联邦学习方法，有效提高了视频检索模型的训练效率，解决了现有集中式进行模型训练花费巨大的数据传输成本和存储成本，以及容易造成隐私泄露的问题；所述方案在局部模型聚合阶段，通过客户端之间的验证集定量地测量局部模型的性能进而更好地指导模型聚合，提升了模型性能；所述方案通过将提出的分布差异损失引入到基于联邦学习的视频分析技术中，使局部模型的预测分布努力逼近总体样本的实际分布，能进一步提升模型性能。

公开(公告)号：CN114550098A

公开(公告)日：2022-05-27

申请号：CN202210188002.2

申请日：2022-02-28

Applicant: 山东大学

Inventor： 许信顺 ,  张紫捷 ,  罗昕 ,  陈振铎

IPC: G06V20/52 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/25 ,  G06V10/77 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了基于对比学习的考场监控视频异常行为检测方法及系统，包括：获取考场监控视频；对获取的监控视频进行目标检测，得到每一帧图像中考生所在位置；对获取的考生位置进行目标跟踪，获取连续帧中对应考生的位置，组成视频片段；利用训练后的基于对比学习的模型，对所述视频片段进行异常行为检测。结合了自监督学习领域中常用的代理任务与对比学习机制，充分利用监督信息。

公开(公告)号：CN113868366A

公开(公告)日：2021-12-31

申请号：CN202111471675.0

申请日：2021-12-06

Applicant: 山东大学

Inventor： 罗昕 ,  宋佩璇 ,  詹雨薇 ,  许信顺

IPC: G06F16/31 ,  G06F16/33 ,  G06F16/383 ,  G06F16/51 ,  G06F16/58 ,  G06F16/583

Abstract: 本发明属于大规模流数据检索技术领域，提供了一种面向流数据的在线跨模态检索方法及系统，所述方法包括以下步骤：获取待查询数据，采用预先训练得到的哈希函数映射得到相应哈希码，所述待查询数据为图像或文本；通过将所述待查询数据的哈希码与数据库中样本的哈希码进行对比，得到检索结果；其中，所述哈希函数的训练方法包括：获取包含成对图像和文本的训练数据，并将所述训练数据划分轮次；从第一轮次开始，对每个轮次训练数据依次进行哈希码学习，得到相应哈希函数。本发明通过将训练数据划分轮次，依次进行哈希码学习，更加适应于在线流数据跨模态检索的需求。

公开(公告)号：CN113326289B

公开(公告)日：2021-11-02

申请号：CN202110878050.X

申请日：2021-08-02

Applicant: 山东大学

Inventor： 罗昕 ,  孙钰 ,  詹雨薇 ,  许信顺

IPC: G06F16/2453 ,  G06N3/04

Abstract: 本发明提出了面向携带新类别的增量数据的快速跨模态检索方法及系统，包括：增量哈希学习步骤：从多媒体已知类别数据库存储的已知哈希码中提取已知类别标签的二值表示，然后根据已有类别标签与未知类别标签的相似性关系，获取未知类别标签的二值表示，用来监督增量类别数据库中增量数据的哈希码的生成；哈希函数学习步骤：在哈希函数的学习过程中，从已知类别数据库及增量类别数据库中通过抽样获取锚点集，基于该锚点集采用非对称策略更新深度网络的参数，进行哈希函数的学习，获得所需模型。可以在保持原有数据的哈希码不变的情况下直接学习未知增量类数据的哈希码，从而可以满足快速训练的模式要求。

公开(公告)号：CN113312505A

公开(公告)日：2021-08-27

申请号：CN202110860448.0

申请日：2021-07-29

Applicant: 山东大学

Inventor： 罗昕 ,  詹雨薇 ,  付婷 ,  许信顺

IPC: G06F16/483 ,  G06N20/00

Abstract: 本发明提出了一种基于离散在线哈希学习的跨模态检索方法及系统，包括：获取模拟流数据；基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。本发明从不同的模态中学习统一的哈希码，可以让哈希码融合多种模态的信息。

公开(公告)号：CN111639547B

公开(公告)日：2021-04-30

申请号：CN202010392029.4

申请日：2020-05-11

Applicant: 山东大学

Inventor： 许信顺 ,  尹晓雅 ,  罗昕

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于生成对抗网络的视频描述方法及系统，包括：获取待描述视频；将待描述视频输入到训练好的生成对抗网络中，训练好的生成对抗网络生成器的编码器提取带有视频时序信息的视觉特征，生成器的解码器对所述视觉特征进行解码，输出待描述视频的描述语句。所述训练好的生成对抗网络，具体训练步骤包括：对生成器单独进行训练，得到单独训练好的生成器；对判别器单独进行训练，得到单独训练好的判别器；将单独训练好的生成器和单独训练好的判别器进行连接，得到初始化生成对抗网络；对初始化生成对抗网络进行训练，得到训练好的生成对抗网络。