-
公开(公告)号:CN116009751A
公开(公告)日:2023-04-25
申请号:CN202211529357.X
申请日:2022-11-30
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06F3/04847 , G06V10/75
摘要: 本申请提供了一种界面元素回显方法和电子设备,其中,该方法包括:从第一图像元素集中确定出目标图像元素,其中,所述第一图像元素集为从第一显示界面中捕获得到的元素集;在第二显示界面中,捕获其包含的第二图像元素集,其中,所述第一显示界面与所述第二显示界面中所包含的元素内容相同,其所包含的元素的尺寸相同或不同;根据所述目标图像元素与所述第二图像元素集的匹配关系,以确定出所述目标图像元素在所述第二显示界面中的目标区域。
-
公开(公告)号:CN115982402A
公开(公告)日:2023-04-18
申请号:CN202211667281.7
申请日:2022-12-23
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06F16/583 , G06V10/74 , G06V10/77 , G06V10/80 , G06V10/764 , G06V10/82
摘要: 本申请提供一种图形界面的元素特征生成方法及电子设备,方法包括:从样例图形界面图像中,确定待检索的目标元素;根据特征提取网络组合中若干特征提取网络,分别为目标元素生成与每一特征提取网络对应的特征向量;其中,特征提取网络组合包括多个可选的特征提取网络;将目标元素的若干特征向量进行融合处理,得到语境检索特征。本申请方案,可以为目标元素生成包括语境信息的语境检索特征,便于后续对目标元素进行准确检索。
-
公开(公告)号:CN115455227A
公开(公告)日:2022-12-09
申请号:CN202211145565.X
申请日:2022-09-20
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06F16/583 , G06F16/55 , G06V10/44 , G06V10/74 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
摘要: 本申请提供了一种图形界面的元素搜索方法及电子设备、存储介质,该方法包括:通过提取元素图像的多个尺度的元素特征图和界面图像的多个尺度的界面特征图,可以适应不同分辨率的变化,在多个尺度的界面特征图中搜索多个尺度的元素特征图,相比直接在尺寸较大的界面图像中搜索元素图像,大幅降低了计算量,提高了搜索效率。该方案可以适用于不同设计方法的软件,快速定位软件界面中待操作的元素位置,扩大RPA技术的适用范围。
-
公开(公告)号:CN115147856A
公开(公告)日:2022-10-04
申请号:CN202210804642.1
申请日:2022-07-08
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06V30/413 , G06V30/414 , G06V30/146 , G06V30/162
摘要: 本申请属于图像处理技术领域,公开了一种表格信息提取的方法及电子设备,该方法包括,确定待处理图像中的背景区域,背景区域为待处理图像中未包含文本信息的区域;根据背景区域中各像素的纵坐标以及横坐标,分别获得每一纵坐标的像素数量以及每一横坐标的像素数量;根据各纵坐标的像素数量,以及各横坐标的像素数量,确定目标表格的各个表格行坐标以及各个表格列坐标;根据目标表格的各个表格行坐标以及各个表格列坐标,获得目标表格的表格信息。这样,降低了图像界面中表格信息提取时耗费的人力成本和时间成本。
-
公开(公告)号:CN116363393A
公开(公告)日:2023-06-30
申请号:CN202211666843.6
申请日:2022-12-23
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06V10/74 , G06V10/82 , G06V10/764 , G06V10/26 , G06V10/44 , G06V10/80 , G06N3/0464
摘要: 本申请提供一种图形界面相似度的判断方法、设计特征提取网络的训练方法、电子设备,方法包括:针对待比对图像对的每一图形界面图像,分别生成对应于每一图形界面图像的组合特征图;其中,所述待比对图像对包括两个图形界面图像,所述组合特征图用于表征所述图形界面图像的复合性图像特征;将所述待比对图像对中每一图形界面图像的组合特征图,输入已训练的设计特征提取网络,获得对应于每一图形界面图像的设计特征向量;确定所述两个图形界面图像的设计特征向量之间的相似度。本申请方案,实现了准确判别两个图形界面之间的设计风格相似度。
-
公开(公告)号:CN115147856B
公开(公告)日:2023-04-28
申请号:CN202210804642.1
申请日:2022-07-08
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06V30/413 , G06V30/414 , G06V30/146 , G06V30/162
摘要: 本申请属于图像处理技术领域,公开了一种表格信息提取的方法及电子设备,该方法包括,确定待处理图像中的背景区域,背景区域为待处理图像中未包含文本信息的区域;根据背景区域中各像素的纵坐标以及横坐标,分别获得每一纵坐标的像素数量以及每一横坐标的像素数量;根据各纵坐标的像素数量,以及各横坐标的像素数量,确定目标表格的各个表格行坐标以及各个表格列坐标;根据目标表格的各个表格行坐标以及各个表格列坐标,获得目标表格的表格信息。这样,降低了图像界面中表格信息提取时耗费的人力成本和时间成本。
-
公开(公告)号:CN115311670A
公开(公告)日:2022-11-08
申请号:CN202210917580.5
申请日:2022-08-01
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06V30/414 , G06V30/146
摘要: 本申请提供一种日历解析方法及电子设备,该方法通过对日历图片进行检测,获得所述日历图片中各文本的文本框信息;根据所述文本框信息,获得所述日历图片的日期行;根据所述日期行,获得所述日历图片的日期矩阵;根据所述日期矩阵,获得所述日历图片中各日期与日期位置的对应关系。由于无需人工参日历解析,降低了人工解析的工作量和成本,提高了效率。同时,也无需日历组件的底层数据和解析接口,因此,不会出现没有解析接口和解析接口格式不适用而无法解析的情况,大大扩展了日历解析的应用。
-
公开(公告)号:CN115291992A
公开(公告)日:2022-11-04
申请号:CN202210971356.4
申请日:2022-07-28
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06F9/451
摘要: 本申请涉及一种图形用户界面图片辅助标注方法、电子设备及储存介质,通过图形用户界面匹配计算前处理方法和后处理方法,根据模板图片,计算目标图片中与模板完全相同的部分,将相同的地方抹去,无需标注,并将模板中的标注复制到目标图片中去,以此对图形用户界面中完全相同的部分减少重复标注,大大降低标注工作量,减小图形用户界面的元素标注成本,提高图形用户界面的解析效率。
-
公开(公告)号:CN115048282B
公开(公告)日:2022-10-25
申请号:CN202210971903.9
申请日:2022-08-15
申请人: 北京弘玑信息技术有限公司 , 上海弘玑信息技术有限公司
IPC分类号: G06F11/34
摘要: 本申请提供一种重复操作的提取方法及电子设备、存储介质,该方法通过获取工作操作记录,根据工作操作记录中每一步的具象操作,筛选出特殊操作和普通操作;将特殊操作和普通操作转化为抽象操作,并建立具象操作与抽象操作之间的映射关系;将抽象操作按照对应具象操作的操作时间,排列得到抽象操作序列;进而从抽象操作序列中提取出重复的抽象操作组合,获得抽象操作组合对应的具象操作组合和操作时间,由于无需人工参与重复操作的挖掘,降低了人工挖掘的工作量和成本,提高了效率。
-
公开(公告)号:CN115097987A
公开(公告)日:2022-09-23
申请号:CN202210822057.4
申请日:2022-07-13
申请人: 上海弘玑信息技术有限公司
IPC分类号: G06F3/0482 , G06F3/04845
摘要: 本申请涉及一种图形界面弹窗处理方法及电子设备,通过获获取图形界面图片;采用第一检测模型对所述图形界面图片进行检测,获得所述图形界面图片中的弹窗;采用第二检测模型对所述弹窗进行检测,获得所述弹窗中的弹窗关闭按钮;通过RPA执行所述弹窗关闭按钮,关闭所述弹窗。能够采用针对弹窗的训练数据获取目标检测模型,以此实现对图形界面图片中的弹窗位置以及弹窗关闭位置的快速检测,无需人工,可以自动准确、快速地解析图形界面里的弹窗主体位置和关闭按钮位置,无需软件系统底层数据,而是直接仿照人的方式,从图形界面中获取信息。能够在保证检测性能的情况下,提高检测速度,极大地减少计算量。
-
-
-
-
-
-
-
-
-