公开(公告)号：CN114912512B

公开(公告)日：2024-07-23

申请号：CN202210392208.7

申请日：2022-04-14

申请人： 南京大学

发明人： 张建兵 ,  马海程 ,  马征 ,  黄博 ,  何亮 ,  戴新宇 ,  黄书剑 ,  陈家骏

IPC分类号： G06V10/74 ,  G06V10/80 ,  G06N20/00

摘要： 本发明提供了一种对图像描述的结果进行自动评估的方法，包括：步骤1，分别抽取图像和文本的场景图；步骤2，利用多模态预训练模型CLIP对相关元素进行编码；步骤3，计算得到句子质量评价的最终分数。本发明基于场景图来辅助判断图像和文本之间的一致性，提高了无标注场景下质量评价的可信度；本发明使用CLIP模型对图像、文本、场景图进行编码，不仅确保了语义空间的一致性，大大提高了场景图相似度比较的准确性，还保证了编码能力的可更新性。

公开(公告)号：CN117453886A

公开(公告)日：2024-01-26

申请号：CN202311477892.X

申请日：2023-11-08

申请人： 国网上海市电力公司 ,  南京大学

发明人： 谈忠华 ,  许海伟 ,  张华 ,  马士杰 ,  吴智杰 ,  葛亮 ,  董思思 ,  刘晨星 ,  徐鼎 ,  袁祎宁 ,  朱巧中 ,  张建兵 ,  马征 ,  黄博

IPC分类号： G06F16/332 ,  G06N5/04 ,  G06V10/764

摘要： 本发明提出了一种基于人工智能的电力设备故障诊断专家系统，包括：训练阶段和使用阶段，其中：训练阶段即构建基于人工智能的电力设备故障诊断专家系统，包括：依据电网运行中电力设备故障规律，设计微调指令集；根据电网运行的原始维护报告，结合所述微调指令集构建用于电力系统维护的数据集CPGD数据集，并划分训练集和验证集；所述CPGD数据集存储在CPGD数据库中；采用VisualGLM‑6B模型，作为电力设备故障诊断专家系统中的诊断模型；使用CPGD数据集，对所述诊断模型进行训练，将训练好的诊断模型作为所述电力设备故障诊断专家系统的内置算法；使用阶段，即使用基于人工智能的电力设备故障诊断专家系统进行电力设备故障诊断。

公开(公告)号：CN114912512A

公开(公告)日：2022-08-16

申请号：CN202210392208.7

申请日：2022-04-14

申请人： 南京大学

发明人： 张建兵 ,  马海程 ,  马征 ,  黄博 ,  何亮 ,  戴新宇 ,  黄书剑 ,  陈家骏

IPC分类号： G06K9/62 ,  G06V10/74 ,  G06V10/80 ,  G06N20/00

摘要： 本发明提供了一种对图像描述的结果进行自动评估的方法，包括：步骤1，分别抽取图像和文本的场景图；步骤2，利用多模态预训练模型CLIP对相关元素进行编码；步骤3，计算得到句子质量评价的最终分数。本发明基于场景图来辅助判断图像和文本之间的一致性，提高了无标注场景下质量评价的可信度；本发明使用CLIP模型对图像、文本、场景图进行编码，不仅确保了语义空间的一致性，大大提高了场景图相似度比较的准确性，还保证了编码能力的可更新性。