-
公开(公告)号：CN119338013A
公开(公告)日：2025-01-21
申请号：CN202411887056.3
申请日：2024-12-20
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/04 , G06V10/774
Abstract: 本发明涉及机器学习技术领域，公开了一种多模态模型视觉感知能力探测方法及终端，所述方法包括：获取多张检测图像，检测每张所述检测图像之中包含的对象；针对每张所述检测图像，均根据包含的对象构建正向提示答案对和负向提示答案对，以构成探测数据集；获取待探测模型，根据所述探测数据集探测所述待探测模型的性能，输出探测结果。本发明通过针对每个图像构建正向提示答案对和负向提示答案对，不仅简化了问题的构造，同时也要求模型在理解图像内容及其语境时不能仅依赖随机猜测，迫使模型需要正确理解图案和问题才能得到较好的探测结果，有效解决了在进行探测时，对部分模型无法准确的衡量模型的能力的问题。
-
公开(公告)号：CN119338013B
公开(公告)日：2025-04-08
申请号：CN202411887056.3
申请日：2024-12-20
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06N5/04
Abstract: 本发明涉及机器学习技术领域，公开了一种多模态模型视觉感知能力探测方法及终端，所述方法包括：获取多张检测图像，检测每张所述检测图像之中包含的对象；针对每张所述检测图像，均根据包含的对象构建正向提示答案对和负向提示答案对，以构成探测数据集；获取待探测模型，根据所述探测数据集探测所述待探测模型的性能，输出探测结果。本发明通过针对每个图像构建正向提示答案对和负向提示答案对，不仅简化了问题的构造，同时也要求模型在理解图像内容及其语境时不能仅依赖随机猜测，迫使模型需要正确理解图案和问题才能得到较好的探测结果，有效解决了在进行探测时，对部分模型无法准确的衡量模型的能力的问题。
-
公开(公告)号：CN117035074B
公开(公告)日：2024-02-13
申请号：CN202311286288.9
申请日：2023-10-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于反馈强化的多模态知识生成方法及装置，包括：构建多模态模型，在多模态知识生成任务中将人类反馈引入所述多模态模型，形成的监督数据用于训练预先设立的奖励回报模型；将所述监督数据输入奖励回报模型进行训练，使得奖励回报模型从所述监督数据中学习到人类的理解；利用内外探索相结合的强化学习方法微调所述多模态模型，使得多模态模型能够学习到人类偏好，生成更自然的知识；本发明具有人类反馈知识的强化学习方法应用于多模态知识生成任务中，解决了多模态知识生成任务缺乏人类反馈监督的不足，并引入基于内外探索相结合的强化学习微调技术，有效缓解多奖励稀疏问题。
-
公开(公告)号：CN117035074A
公开(公告)日：2023-11-10
申请号：CN202311286288.9
申请日：2023-10-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于反馈强化的多模态知识生成方法及装置，包括：构建多模态模型，在多模态知识生成任务中将人类反馈引入所述多模态模型，形成的监督数据用于训练预先设立的奖励回报模型；将所述监督数据输入奖励回报模型进行训练，使得奖励回报模型从所述监督数据中学习到人类的理解；利用内外探索相结合的强化学习方法微调所述多模态模型，使得多模态模型能够学习到人类偏好，生成更自然的知识；本发明具有人类反馈知识的强化学习方法应用于多模态知识生成任务中，解决了多模态知识生成任务缺乏人类反馈监督的不足，并引入基于内外探索相结合的强化学习微调技术，有效缓解多奖励稀疏问题。
-
-
-
Search Results
4
records
(took 0.054 seconds)
