视频理解大模型优化与评估方法、系统、设备及存储介质

    公开(公告)号:CN119888581A

    公开(公告)日:2025-04-25

    申请号:CN202510349413.9

    申请日:2025-03-24

    Abstract: 本发明公开了一种视频理解大模型优化与评估方法、系统、设备及存储介质,它们还是一一对应的方案,方案中:设计了新的连接器结构以提升全局时序理解能力,其包含时空下采样器,局部双向Mamba结构以及线性层组成。时空下采样器能够降低令牌存储开销;同时,局部双向Mamba结构,一方面弥补了感受野受限的问题,另一方面其能够同时建模帧内特征和帧间特征;此外,该连接器的训练是低成本的,并且使用了三阶段的渐进式训练策略,可以对抗灾难性遗忘;并且,还构建了半自动化数据生成管道并基于此管道提出了全局时序理解数据,以弥补现有基准领域在该能力上的评估空缺。

    骨骼年龄评估方法
    6.
    发明公开

    公开(公告)号:CN110120266A

    公开(公告)日:2019-08-13

    申请号:CN201910568724.9

    申请日:2019-06-27

    Abstract: 本发明公开了一种骨骼年龄评估方法,包括:基于注意力机制,从原始掌骨影像X的特征图上挖掘多个感兴趣骨骼区域;基于识别机制,从多个感兴趣骨骼区域中识别出符合要求若干感兴趣骨骼区域,并将识别出的若干感兴趣骨骼区域的特征图与原始掌骨影像X的特征图拼接,得到特征向量C;最终,将识别出的每一感兴趣骨骼区域的特征图、原始掌骨影像X的特征图、以及特征向量C分别经过全连接层后,进行骨龄预测,并将所有预测结果集成,得到骨骼年龄评估结果。该方法具有较高准确性,且评估速度较快。

    基于卷积神经网络和多重注意力机制的骨骼年龄评估方法

    公开(公告)号:CN112006654A

    公开(公告)日:2020-12-01

    申请号:CN202010685114.X

    申请日:2020-07-16

    Abstract: 本发明公开了一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法,包括:训练阶段,主干网络输入为掌骨影像,通过特征提取器获得特征图F,进而得到骨龄回归值;多重注意力模块输入为特征图F,经通过压缩操作与注意力图拆分操作得到M个子注意力图,每个子注意力图再与特征图F点乘,进而得到对应的骨龄回归值;结合主干网络与多重注意力模块得到的骨龄回归值,采用多任务学习策略训练神经网络;测试阶段,将待测掌骨影像输入至训练后的神经网络中,通过其中主干网络得到骨龄评估值。上述模型可被端到端训练;同时能自动生成注意力分布图,具有更好的泛化性;此外,基于2D卷积神经网络,速度快,精度高,平均评估误差在4.1个月内。

    弱监督细粒度物体分类方法

    公开(公告)号:CN111428730A

    公开(公告)日:2020-07-17

    申请号:CN201910019867.4

    申请日:2019-01-09

    Abstract: 本发明公开了一种弱监督细粒度物体分类方法,包括:采用注意力机制对输入图像进行一系列矩形区域图像的提取,并结合各矩形区域图像的置信度筛选出若干矩形区域图像;采用分类机制对输入图像以及筛选出的若干矩形区域图像进行特征提取,并进行分类预测,最后将各预测结果做集成,得到一个最终预测结果。通过采用上述方法可以显著提升分类精确度。

Patent Agency Ranking