公开(公告)号：CN111581431B

公开(公告)日：2022-05-20

申请号：CN202010351013.9

申请日：2020-04-28

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 周成祖 ,  王国威 ,  刘超 ,  林文楷 ,  魏超 ,  齐战胜 ,  吴朝晖

IPC分类号： G06F16/71 ,  G06K9/62

摘要： 本发明公开了一种基于动态评估的数据探查方法和装置，通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查，得到第一探查结果；对第一探查结果进行评估，得到评估结果，根据评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过探查规则获得第二探查结果；计算第二探查结果的有效探查项比例，根据有效探查比例判断探查规则的有效性，对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径，实现不同类型数据的自动探查工作，提高数据探查的工作效率，结合不同的数据源和探查结果，智能推荐探查结果，实现所有接入数据源的自动探查工作，高效支撑各种不同数据源的探查，提升大数据智能化接入效率。

公开(公告)号：CN116795816A

公开(公告)日：2023-09-22

申请号：CN202310603864.1

申请日：2023-05-26

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 霍伟波 ,  刘襄雄 ,  刘超 ,  张元兰

IPC分类号： G06F16/21 ,  G06F16/23 ,  G06F16/25 ,  G06F16/27 ,  G06F21/62 ,  H04L67/1095 ,  H04L67/55 ,  H04L67/566

摘要： 公开了一种基于流式处理的数仓建设方法和系统，包括对结构化或非结构化的标准数据包进行业务数据解析并还原，监控捕获数据库的变动进行解析处理，并将数据推送至数据汇聚层ODS；数据汇聚层ODS对数据进行清洗、转换、脱敏、关联形成数据明细层DWD；数据明细层DWD中的数据通过数据分发形成汇总数据层DWS，或根据业务需要将数据同步到云组件形成标准化数据查询服务；汇总数据层DWS将数据明细层DWD通过MYLink SQL的数据分发形成宽表或专题库，并π将计算后的数据输出到云组件，提供服务查询及离线计算分析。本申请的基于流式处理的数仓建设方法和系统对数据实时性要求高的场景都有很强的适应性，能快速部署，易维护的优点，大大降低企业的成本与提高适应性。

公开(公告)号：CN116489139A

公开(公告)日：2023-07-25

申请号：CN202310432636.2

申请日：2023-04-21

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 董鹏飞 ,  刘超 ,  孙科 ,  孙林泽 ,  张磊 ,  张辉极 ,  杜新胜

IPC分类号： H04L67/025 ,  H04L67/01 ,  H04L67/133 ,  H04L9/40

摘要： 公开了一种基于远程控制的云取证系统，包括应用云取证子系统和核心算法系统，核心算法系统包括核心算法客户端子系统和服务端子系统，应用云取证子系统、核心算法客户端子系统和核心算法服务端子系统均包括基础组件模块；云取证子系统还包括爬虫模块、辅助验证模块、第一插件管理模块和网络通信客户端模块，核心算法客户端子系统还包括网络通信服务端模块、第二插件管理模块和RPC客户端模块，核心算法服务端子系统还包括服务监听模块和RPC服务器模块；网络通信客户端模块与网络通信服务端通信连接，RPC服务器模块与RPC客户端模块通信连接，调用JavaScript脚本注入对应程序进行数据截获。本申请可大大的减少逆向研发投入，提升了云取证逆向和产品化的开发效率。

公开(公告)号：CN111581431A

公开(公告)日：2020-08-25

申请号：CN202010351013.9

申请日：2020-04-28

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 周成祖 ,  王国威 ,  刘超 ,  林文楷 ,  魏超 ,  齐战胜 ,  吴朝晖

IPC分类号： G06F16/71 ,  G06K9/62

摘要： 本发明公开了一种基于动态评估的数据探查方法和装置，通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查，得到第一探查结果；对第一探查结果进行评估，得到评估结果，根据评估结果对探查流程进行动态调整，获得动态匹配的探查规则，并通过探查规则获得第二探查结果；计算第二探查结果的有效探查项比例，根据有效探查比例判断探查规则的有效性，对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径，实现不同类型数据的自动探查工作，提高数据探查的工作效率，结合不同的数据源和探查结果，智能推荐探查结果，实现所有接入数据源的自动探查工作，高效支撑各种不同数据源的探查，提升大数据智能化接入效率。

公开(公告)号：CN116561093A

公开(公告)日：2023-08-08

申请号：CN202310445426.7

申请日：2023-04-24

申请人： 厦门市美亚柏科信息股份有限公司

发明人： 严世伟 ,  刘超 ,  黄世峰 ,  王德良 ,  吴金汉 ,  温若辉 ,  陈云

IPC分类号： G06F16/182 ,  G06F16/178 ,  G06F11/14 ,  H04L67/1095 ,  H04L67/1097

摘要： 本发明提出一种分布式存储方法及系统，方法包括步骤：S1、获取数据包并且将数据包存储至备份存储；S2、任务调度节点判断数据包是否包含非结构化数据，响应于确认包含，则扫描包含非结构化数据的数据包，生成解压任务并发送至消息队列；S3、文件服务节点的消费者从所述消息队列中认领解压任务后，文件服务节点从备份存储中下载数据包，解压、拆分并分别存放结构化数据与非结构化数据。该方案基于分布式构架解压、记录非结构化数据，将非结构化数据分布存储于本地文件存储中，其索引信息被记录于数据库中，可实现快速、精准处理结构化数据需求。