公开(公告)号：CN118537433B

公开(公告)日：2024-09-27

申请号：CN202410995456.X

申请日：2024-07-24

申请人： 江西啄木蜂科技有限公司

发明人： 李翔 ,  邓智诚 ,  王耿 ,  李沅明 ,  黄晓霞 ,  姚光乐 ,  石望来 ,  刘文水

IPC分类号： G06T11/00 ,  G06T11/60 ,  G06V10/44 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/86 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/048

摘要： 本发明公开了一种基于多模态大模型的自然保护地和林业遥感图像生成方法，包括构造第一遥感数据集Dc和第二遥感数据集Ds；构造风格迁移网络；构造总损失L，冻结风格迁移网络中第一CLIP图像编码器、第二CLIP图像编码器的权重，用Dc、Ds以最小化L训练风格迁移网络，得到第一风格迁移模型M1；基于M1构造第二风格迁移模型M2，生成最终风格迁移图像。本发明能有效地利用CLIP模型的跨模态学习能力，利用文本生成图像以及将目标风格图的风格特征融合到生成图像中，保证风格的一致性和图像质量，从而优化来了图像内容和风格一致性，确保输出图像在视觉和内容上的高度协调。使管理者能更精准地分析和理解自然保护地和林业区域的动态变化。

公开(公告)号：CN118537433A

公开(公告)日：2024-08-23

申请号：CN202410995456.X

申请日：2024-07-24

申请人： 江西啄木蜂科技有限公司

发明人： 李翔 ,  邓智诚 ,  王耿 ,  李沅明 ,  黄晓霞 ,  姚光乐 ,  石望来 ,  刘文水

IPC分类号： G06T11/00 ,  G06T11/60 ,  G06V10/44 ,  G06V10/42 ,  G06V10/80 ,  G06V10/82 ,  G06V10/86 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/048

摘要： 本发明公开了一种基于多模态大模型的自然保护地和林业遥感图像生成方法，包括构造第一遥感数据集Dc和第二遥感数据集Ds；构造风格迁移网络；构造总损失L，冻结风格迁移网络中第一CLIP图像编码器、第二CLIP图像编码器的权重，用Dc、Ds以最小化L训练风格迁移网络，得到第一风格迁移模型M1；基于M1构造第二风格迁移模型M2，生成最终风格迁移图像。本发明能有效地利用CLIP模型的跨模态学习能力，利用文本生成图像以及将目标风格图的风格特征融合到生成图像中，保证风格的一致性和图像质量，从而优化来了图像内容和风格一致性，确保输出图像在视觉和内容上的高度协调。使管理者能更精准地分析和理解自然保护地和林业区域的动态变化。