一种面向微服务资源的多模态数据分析方法、装置及介质

    公开(公告)号:CN115659175A

    公开(公告)日:2023-01-31

    申请号:CN202211258044.5

    申请日:2022-10-13

    IPC分类号: G06F18/214 G06F18/24

    摘要: 本发明公开了一种面向微服务资源的多模态数据分析方法、装置及介质,包括获取不同微服务组件资源的多模态数据,所述多模态数据包括文本数据和图像数据;通过ResNet模型和Transformer模型分别对图像数据和文本数据进行编码,得到原始的图像数据和文本数据的高层特征表示;利用得到的图像数据和文本数据的高层特征表示训练CLIP模型,并进行数据标注,在高层特征表示的空间中进行对齐图像数据和文本数据的特征;通过交叉熵损失函数对图像数据和文本数据的分类,得到分析后的多模态数据。本发明通过利用ResNet模型和Transformer模型对图像数据和文本数据进行编码,降低数据向量化中的损失,使用CLIP模型对多模态数据的高层特征表示进行对齐,提升多模态数据对齐的准确度。