-
公开(公告)号：CN113205507B
公开(公告)日：2023-03-10
申请号：CN202110540093.7
申请日：2021-05-18
申请人： 合肥工业大学
IPC分类号： G06T7/00 , G06T7/11 , G06F16/332 , G06F16/58 , G06F16/583 , G06F16/78 , G06F16/783 , G06F16/215 , G06Q50/06 , G07C1/20
摘要： 本发明提供一种视觉问答方法、系统及服务器，包括：获取输电设备的图像数据，图像数据包括视频数据和图片数据；预处理图像数据，得到原始数据集；对原始数据集依次进行视觉问答标注和语义分割标注，得到视觉问答数据集；对视觉问答数据集进行训练，得到视觉问答模型；输入问题文本和图片到视觉问答模型，得到视觉问答结果。本发明对图像数据进行视觉问答标注和语义分割标注，得到视觉问答数据集，从而建立了图像数据的语义分割与文本问答之间的图文链接；根据该视觉问答数据集训练得到的视觉问答模型，以图文链接作为锚点，将输入的图片与文本在语义上对齐，提高了视觉问答模型的性能，获得了更加准确的视觉问答结果。
-
公开(公告)号：CN115203425A
公开(公告)日：2022-10-18
申请号：CN202210409533.X
申请日：2022-04-19
申请人： 合肥工业大学
摘要： 本发明的一种分阶段的领域知识图谱扩充方法及存储介质，包括：获取电力领域设备日常巡检数据并预处理；然后基于预处理后的语料文本，采用远程监督扩展标注数据集，并通过数据分割器将数据集划分为正负样本；接着利用结合注意力机制的神经网络模型获取待扩充的预测三元组数据；通过相似度匹配算法去除超过阈值的预测三元组，剩余三元组通过局部定位器找到对应局域图结构；然后通过属性判别器判定待扩充三元组的真假，将属性值为真的三元组放入预测三元组候选域；构建电力领域知识图谱扩充模型并训练；通过训练后的电力领域知识图谱扩充模型获得完备的领域知识图谱。本发明能够有效解决电力领域知识图谱的数据稀疏性问题，提高领域知识图的完备性。
-
公开(公告)号：CN113128415A
公开(公告)日：2021-07-16
申请号：CN202110437611.2
申请日：2021-04-22
申请人： 合肥工业大学
摘要： 本发明提供了一种环境辨别方法、系统、设备及存储介质，涉及视频问答技术领域，环境辨别方法包括：在采集到环境问题时，实时采集一预设时长的环境视频；根据环境视频中每一帧的环境图像，得到环境图像特征，并提取环境问题的语义特征，得到问题文本特征；将环境图像特征和问题文本特征进行加权融合，得到融合特征；将融合特征输入环境辨别模型，环境辨别模型根据融合特征，采用对应的激活函数和损失函数，得到预测答案。本发明能够在盲人提出问题时，及时的进行环境的辨别和反馈，使得具有视觉障碍的人群能感知到环境信息；且在交互技术中应用了视频问答技术，使得环境辨别的准确度大大提高，输出的辨别结果与实际情况更符合。
-
公开(公告)号：CN113128415B
公开(公告)日：2023-09-29
申请号：CN202110437611.2
申请日：2021-04-22
申请人： 合肥工业大学
摘要： 本发明提供了一种环境辨别方法、系统、设备及存储介质，涉及视频问答技术领域，环境辨别方法包括：在采集到环境问题时，实时采集一预设时长的环境视频；根据环境视频中每一帧的环境图像，得到环境图像特征，并提取环境问题的语义特征，得到问题文本特征；将环境图像特征和问题文本特征进行加权融合，得到融合特征；将融合特征输入环境辨别模型，环境辨别模型根据融合特征，采用对应的激活函数和损失函数，得到预测答案。本发明能够在盲人提出问题时，及时的进行环境的辨别和反馈，使得具有视觉障碍的人群能感知到环境信息；且在交互技术中应用了视频问答技术，使得环境辨别的准确度大大提高，输出的辨别结果与实际情况更符合。
-
公开(公告)号：CN113205507A
公开(公告)日：2021-08-03
申请号：CN202110540093.7
申请日：2021-05-18
申请人： 合肥工业大学
IPC分类号： G06T7/00 , G06T7/11 , G06F16/332 , G06F16/58 , G06F16/583 , G06F16/78 , G06F16/783 , G06F16/215 , G06Q50/06 , G07C1/20
摘要： 本发明提供一种视觉问答方法、系统及服务器，包括：获取输电设备的图像数据，图像数据包括视频数据和图片数据；预处理图像数据，得到原始数据集；对原始数据集依次进行视觉问答标注和语义分割标注，得到视觉问答数据集；对视觉问答数据集进行训练，得到视觉问答模型；输入问题文本和图片到视觉问答模型，得到视觉问答结果。本发明对图像数据进行视觉问答标注和语义分割标注，得到视觉问答数据集，从而建立了图像数据的语义分割与文本问答之间的图文链接；根据该视觉问答数据集训练得到的视觉问答模型，以图文链接作为锚点，将输入的图片与文本在语义上对齐，提高了视觉问答模型的性能，获得了更加准确的视觉问答结果。
-
公开(公告)号：CN113095331A
公开(公告)日：2021-07-09
申请号：CN202110436318.4
申请日：2021-04-22
申请人： 合肥工业大学
摘要： 本发明提供一种电力设备外观缺陷的视觉问答方法，包括步骤：获取电力设备外观缺陷的图像，并对所述图像进行预处理；对处理后的所述图像进行特征提取，得到图像特征；根据所述图像，获取与所述图像相关的问题信息，并对所述问题信息进行特征提取，得到文本特征；基于双线性池化网络，将所述图像特征与所述文本特征进行融合，得到多模态特征；建立视觉问答模型并对其进行训练，得到训练后的所述视觉问答模型；将所述多模态特征输入训练后的所述视觉问答模型中，以得到视觉问答结果。本发明提供的一种电力设备外观缺陷的视觉问答方法，能通过图像对电力设备的外观缺陷进行筛选和评估，从而能够实时监控电力设备的运行状态。
-
-
-
-
-
搜索结果
6 条记录 (耗时 0.021 秒)
