具备跨语言学习能力的图像自然语言描述生成方法和装置

    公开(公告)号:CN107480144A

    公开(公告)日:2017-12-15

    申请号:CN201710657104.3

    申请日:2017-08-03

    IPC分类号: G06F17/28 G06F17/27 G06K9/62

    摘要: 本发明提供一种具备跨语言学习能力的图像自然语言描述生成方法和装置,该方法,包括:将英文描述句子通过机器翻译为目标语言描述句子;通过随机采样选取部分目标语言描述句子构成训练样本集;利用通顺样本集和不通顺样本集训练句子通顺度模型;通过句子通顺度模型对候选数据集中的目标语言描述句子进行通顺度评估,根据每个目标语言描述句子的通顺度概率来设置训练图像描述句子生成模型的策略;根据策略训练图像描述句子生成模型,得到训练之后的图像描述句子生成模型。实现依据流畅度评估结果引导训练生成目标语言的图像句子生成模型,降低了不流畅目标语言描述句子对训练过程的影响,提高了目标语言的图像句子生成模型的准确度。

    一种基于深度学习的眼底图像匹配方法、系统和可读介质

    公开(公告)号:CN114926892A

    公开(公告)日:2022-08-19

    申请号:CN202210667546.7

    申请日:2022-06-14

    发明人: 李锡荣 刘家真

    摘要: 本发明属于图像匹配技术领域,涉及一种基于深度学习的眼底图像匹配方法、系统和可读介质,包括:将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的深度神经网络模型,该模型包括一个编码器网络和两个解码器网络;将待测眼底图像输入训练好的模型,生成关键点概率图和描述特征图;获得关键点坐标集合和关键点特征集合;将两张待匹配眼底图像对应的将关键点坐标集合和关键点特征集合进行匹配,获得匹配集;根据匹配集计算仿射变换的参数,实现图像配准,确定匹配的外点和内点,并根据内点的数量进行身份验证。其简单有效,只需要训练部分特征,大幅度减少了计算量,允许输入更大尺寸的图像,更适用于医疗眼底图像场景。

    具备跨语言学习能力的图像自然语言描述生成方法和装置

    公开(公告)号:CN107480144B

    公开(公告)日:2020-10-20

    申请号:CN201710657104.3

    申请日:2017-08-03

    IPC分类号: G06F40/253 G06F40/58 G06K9/62

    摘要: 本发明提供一种具备跨语言学习能力的图像自然语言描述生成方法和装置,该方法,包括:将英文描述句子通过机器翻译为目标语言描述句子;通过随机采样选取部分目标语言描述句子构成训练样本集;利用通顺样本集和不通顺样本集训练句子通顺度模型;通过句子通顺度模型对候选数据集中的目标语言描述句子进行通顺度评估,根据每个目标语言描述句子的通顺度概率来设置训练图像描述句子生成模型的策略;根据策略训练图像描述句子生成模型,得到训练之后的图像描述句子生成模型。实现依据流畅度评估结果引导训练生成目标语言的图像句子生成模型,降低了不流畅目标语言描述句子对训练过程的影响,提高了目标语言的图像句子生成模型的准确度。