公开(公告)号：CN118865386A

公开(公告)日：2024-10-29

申请号：CN202410908935.3

申请日：2024-07-08

申请人： 北京工业职业技术学院

发明人： 刘业辉 ,  杨洪涛 ,  史萍 ,  方园 ,  周兴晖 ,  方水平 ,  朱贺新 ,  郑天悦 ,  王笑洋

IPC分类号： G06V20/70 ,  G06V10/774 ,  G06V10/82 ,  G06F40/216 ,  G06F40/289 ,  G06F16/35 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0895

摘要： 本发明公开了一种基于对比学习的图像美学多属性评论生成方法，涉及图像处理技术领域，包括以下步骤：采集图像及对应美学评论，构建图像‑文本多属性美学数据集；构建基于CLIP和多模态文本解码器的网络架构的图像美学多属性评论生成模型；利用图像‑文本多属性美学数据集和DPC2022数据集采用双阶段预训练策略训练图像美学多属性评论生成模型；将待评论图像输入训练后的图像美学多属性评论生成模型，获得图像美学多属性评论。本发明能够快速为图像生成一个有意义且有成效的美学语言描述。

公开(公告)号：CN118865387A

公开(公告)日：2024-10-29

申请号：CN202410908940.4

申请日：2024-07-08

申请人： 北京工业职业技术学院

发明人： 杨洪涛 ,  刘业辉 ,  史萍 ,  朱元忠 ,  周兴晖 ,  郭蕊 ,  宋玉娥 ,  赵元苏 ,  李娟

IPC分类号： G06V20/70 ,  G06F18/22 ,  G06F18/27 ,  G06F40/284 ,  G06F40/289 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0895

摘要： 本发明公开了一种基于提示学习的图像美学质量评价方法，涉及图像处理技术领域，包括：获取图像数据集，构建图像美学质量评价模型；将图像数据集中的图像数据输入图像编码器中得到图像嵌入；构建正反义提示词并输入文本编码器中获得正反义文本嵌入；计算图像嵌入和正反义文本嵌入之间的余弦相似度；对余弦相似度采用归一化指数函数进行归一化处理，获得美学质量评分；根据美学质量评分利用损失函数优化调整图像美学质量评价模型参数，获得训练后的图像美学质量评价模型；采集待评价图像输入训练后的图像美学质量评价模型，获得待评价图像的美学质量评分。本发明能够结合文本信息提高图像美学质量评价的准确性。