一种文本-图像增强的多模态知识图谱嵌入方法

    公开(公告)号:CN115099409A

    公开(公告)日:2022-09-23

    申请号:CN202210708381.3

    申请日:2022-06-22

    摘要: 本发明公开了一种文本‑图像增强的多模态知识图谱嵌入方法,包括:文本编码器对实体的描述性文本进行编码,获得实体的文本表示形式;图像编码器提取实体图像的特征,并通过投影矩阵把图像特征从图像空间投影到实体空间,进而得到实体的图像表示形式;实体关系表示模型使用经典的RL方法基于平移的模型对知识图谱事实三元组进行建模,把关系看作是头实体到尾实体的平移操作,融合实体的文本表示形式和图像表示形式得到实体的结构表示形式并实现关系空间嵌入;构建损失函数,联合训练实体关系表示模型,优化实体、关系、文本和图像的表示形式及关系空间嵌入。本发明同时考虑了实体文本描述和实体图像,可实现结构信息和文本信息、图像信息的融合。

    一种针对民航陆空通话领域的基于迁移学习的语音识别方法

    公开(公告)号:CN112133290A

    公开(公告)日:2020-12-25

    申请号:CN201910571280.4

    申请日:2019-06-25

    摘要: 本发明公开一种针对民航陆空通话领域的基于迁移学习的语音识别方法。方法包括:收集通用数据集和迁移数据集并做数据处理;初始化神经网络,采用时延神经网络‑隐马尔可夫模型作为声学训练模型;使用通用数据集进行语音识别训练,得到中文语音识别通用声学模型;对所述迁移数据集在通用中文语音识别模型上进行训练并调整参数,得到民航陆空通话领域中文语音识别声学模型;扩充民航领域文本语料,生成语言模型。发明的基于迁移学习的方法能有效利用该领域外的数据,相较于普通声学模型识别效果有很大提高。采用本发明的方法能够解决民航陆空通话领域中文语料不足的问题,提高民航陆空通话的准确性。

    一种基于无监督场景适应的说话人识别方法及系统

    公开(公告)号:CN113948093B

    公开(公告)日:2024-03-26

    申请号:CN202111213868.6

    申请日:2021-10-19

    IPC分类号: G10L17/04 G10L17/18

    摘要: 本发明公开一种基于无监督场景适应的说话人识别方法及系统,方法包括:获取源域训练集和目标域训练集;对源域训练集和目标域训练集进行预处理,得到预处理后的源域训练集和目标域训练集;利用预处理后的源域训练集和目标域训练集以及损失函数对协作对抗网络模型进行训练和优化;将多个说话人语音以及与说话人语音对应的说话人身份输入优化后的协作对抗网络模型中,构建说话人语音数据库;将待识别说话人语音输入优化后的协作对抗网络模型中,利用优化后的协作对抗网络模型和说话人语音数据库识别出与待识别说话人语音对应的说话人身份。本发明能够在解决说话人识别的场景不匹配问题时,不损失说话人识别能力,从而提高说话人识别的精度。

    一种基于混合格自注意力网络的命名实体识别方法和装置

    公开(公告)号:CN114429132A

    公开(公告)日:2022-05-03

    申请号:CN202210172667.4

    申请日:2022-02-24

    摘要: 本发明公开了一种基于混合格自注意力网络的命名实体识别方法,包括:S1,将字词对表示的句子特征向量编码为一个维度固定的矩阵,得到混合格结构的字词向量表示;构造自注意力网络以捕获该向量中词向量对字向量的影响,增强每个字向量的特征表示;在BERT的Embedding层融合词特征,通过微调学习过程,学习得到更好的字向量表示;依据BiLSTM‑CRF网络实现实体识别中的实体序列标注任务和解码过程,通过该网络完成对融合后字特征的建模,构建完成基于混合格自注意力网络的实体识别模型。本发明能够捕获全局的词汇信息,生成语义丰富的字向量表示,在多个数据集上提升了中文命名实体识别的精度。

    一种动态融合词典信息的中文命名实体识别方法和装置

    公开(公告)号:CN113988074A

    公开(公告)日:2022-01-28

    申请号:CN202111260751.3

    申请日:2021-10-28

    IPC分类号: G06F40/295 G06F40/242

    摘要: 本发明公开了一种动态融合词典信息的中文命名实体识别方法,包括:接收待识别句子,为句子中的每个字从词典中匹配相关的词汇;利用self‑attention作为字词信息融合器来动态的学习字与对应的词之间的相关性权重,以融合字词信息;采用改进的Transformer层,在建模上下文的语义信息的同时,通过优化初始位置编码的方式融入位置信息;将学习得到的上下文表示输入到条件随机场进行预测。本发明提出了一种在中文命名实体识别上效果好,推理速度快,具备灵活迁移融合字典信息结构的神经网络方法。

    一种基于主动学习的电力预案文本标注方法

    公开(公告)号:CN112232063A

    公开(公告)日:2021-01-15

    申请号:CN202010891711.8

    申请日:2020-08-28

    发明人: 杨群 袁鑫 刘绍翰

    摘要: 本发明公开一种基于主动学习的电力预案文本标注方法。方法包括:针对电力预案文本的预聚类方法,用于将原始电力预案文本数据进行分类,使类中数据呈现语句结构和字词上的相似性;针对电力预案文本序列标注的主动学习样本选择策略,策略参考样本的信息性和代表性,可用于迭代时挑选出最合适的样本交予人工标注并加入训练集,以最大化提升模型的性能;针对电力预案文本序列标注的神经网络预测结果结构化输出方法,可结构化输出模型对文本的预测标签和各标签的概率,该概率可用于挑选新样本。采用本发明后只需使用一半的数据集即可达成与使用完整数据集一样的模型训练效果,减少了标注数据所需的人力物力。

    基于文本分类与语义框架的电力预案信息抽取方法

    公开(公告)号:CN112036179B

    公开(公告)日:2024-03-26

    申请号:CN202010891712.2

    申请日:2020-08-28

    发明人: 杨群 郭榕 刘绍翰

    摘要: 本发明公开一种基于文本分类与语义框架的电力预案信息抽取方法。方法包括:获取电力预案文本并做文本类别标注;针对电力预案文本的预处理;针对电力预案文本的文本分类模型与训练方法;针对不同类别的电力预案文本,定义不同语义槽;针对不同类别的电力预案文本,构建不同的语义框架进行信息抽取。本发明首先对电力预案文本进行分类,在分类的基础上为每类文本构建相应语义框架,将信息抽取任务转化为槽填充任务,解决了从大量半结构化和非结构化的电力预案文本中抽取信息的问题,能有效地提高电力预案文本的信息抽取效率与准确度,可以减少进行信息抽取所需要的人工劳动,对电力事故后电网快速恢复具有重大和迫切的现实意义。

    一种空中交通管制指令的语音合成方法及系统

    公开(公告)号:CN113724684A

    公开(公告)日:2021-11-30

    申请号:CN202111213753.7

    申请日:2021-10-19

    发明人: 杨群 高洁 刘绍翰

    IPC分类号: G10L13/02 G10L13/08

    摘要: 本发明公开一种空中交通管制指令的语音合成方法及系统,涉及语音合成技术领域,方法包括:获取训练数据集;训练数据集包括多种空中交通管制指令的文本样本以及与文本样本对应的语音样本;利用训练数据集对语音合成模型进行训练和优化;获取参考音频;参考音频包括默认参考音频和自定义参考音频;默认参考音频为任意一个语音样本;自定义参考音频的特征与语音样本的特征相同;特征包括声音、语速、语调和背景音;将参考音频和待生成空中交通管制指令的语音对应的文本均输入优化后的语音合成模型中,生成具有参考音频的特征的空中交通管制指令的语音。本发明能够使生成的空中交通管制指令的语音更接近于真实的空中交通管制员的录音。