-
公开(公告)号：CN115905294A
公开(公告)日：2023-04-04
申请号：CN202211707942.4
申请日：2022-12-29
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/242 , G06F16/2455
摘要： 公开了基于可视化动态构建Flink SQL的方法和系统，包括将算子划分为源端算子、处理算子和目标算子，从数据源栏拖取源端算子到画板并配置算子信息；基于处理业务，在算子栏选择多个处理算子到画板中，并对算子的处理顺序进行编排；目标端栏中拖取相应的目标端算子到画板并配置算子信息。本申请的方法和系统只需在平台中拖取相应算子即可自动同时生成多个不同的复杂度SQL语句，SQL的正确性和便捷性都得到了提升，加快了数据治理实施人员在数据接入处理的速度。
-
公开(公告)号：CN113626427B
公开(公告)日：2022-07-22
申请号：CN202110767561.4
申请日：2021-07-07
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/22 , G06F16/2453 , G06F16/33
摘要： 本发明给出了一种基于规则引擎的主题检索方法和系统，包括分析检索条件的关键特征和不同类型对象主题的数据特征，根据不同主题同一属性的互斥关系和同一主题不同属性的关联关系，动态调整主题检索的路径规则；根据路径规则检索对应的主题库，基于不同主题的依存关系，动态调整检索结果的合并规则。该方法和系统基于海量数据场景下，可以分析不同类型的对象主题的特征，自动匹配对应的主题检索规则，识别准确率和效率都有大幅度提高，大大提高大数据的分析利用价值，减少大数据系统的建设成本。
-
公开(公告)号：CN113626558A
公开(公告)日：2021-11-09
申请号：CN202110767556.3
申请日：2021-07-07
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/33 , G06F16/9535 , G06F40/289 , G06F40/30
摘要： 本发明给出了一种基于智能推荐的字段标准化的方法和系统，包括将原始数据入库，抽取部分原始数据作为内容分析集合，动态映像抽取原始数据相应的字段到数据目录表中，形成待分析的字段集合；利用字段的属性特征获取原始数据的字段的真实表征，对字段集合进行标准化处理以获取包括推荐数据元和限定词的标准化字段集合；调用特征校验引擎识别内容分析集合获取数据特征的结果集合，保存与结果集合的数据吻合的标准化字段集合。该方法和系统可以自动分析出字段属性和内容特征，智能推荐字段的标准化处理方案，大大提升原始数据解析入库的效率。
-
公开(公告)号：CN111563137A
公开(公告)日：2020-08-21
申请号：CN202010351015.8
申请日：2020-04-28
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/29 , G06F16/2455
摘要： 本发明给出了一种用于重合轨迹的分析方法和系统，包括基于轨迹信息库获取待分析基准轨迹集合，并根据发生时间将待分析基准轨迹集合划分为多个子集合；利用预设的分析间隔阈值将子集合中的轨迹等分，利用随机数作为等分点的半径获取等分点的轨迹相似圈；遍历待分析基准轨迹集合以及轨迹相似圈，利用比对属性和发生时间获取轨迹信息库中与等分点的轨迹相似结果集合，并利用轨迹相似结果集合的交集获得重合轨迹的结果集合Zn。该用于重合轨迹的分析方法和系统基于海量数据场景下，可以自动分析出与特定轨迹重合的未知轨迹，并及时预警，大大降低了人工分析研判的工作，分析效率高。
-
公开(公告)号：CN111563103A
公开(公告)日：2020-08-21
申请号：CN202010351018.1
申请日：2020-04-28
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/2455
摘要： 本申请公开了一种用于数据血缘检测方法和系统。提取同一条存储记录在不同节点所对应的节点数据；利用路径规则库将节点数据映射存储于路径数据集合中，基于路径溯源算法将路径数据集合中的每个子集合进行归一化处理，获得节点数据的的上下级关系的路径标识集合；利用关系规则库将节点数据中的数据项映射存储于数据项集合中，基于关系溯源算法分析数据项之间的关联关系，获得数据项溯源结果集合；基于节点数据的路径标识集合和数据项溯源结果集合构建每条数据在不同节点的数据血缘信息库。该方案通过路径溯源和关系溯源分别从节点数据和数据项两个层面进行分析，实现业务数据或者业务要素的全面快速准确的溯源要求，提升大数据的业务支撑能力。
-
公开(公告)号：CN111563074A
公开(公告)日：2020-08-21
申请号：CN202010351007.3
申请日：2020-04-28
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/215 , G06F16/28
摘要： 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签，并利用维度标签动态调整已知类型数据项的质量检测流程；基于未知类型数据项并结合检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法，解决固定检测规则模板引起的准确性差和时效性弱等问题，实现数据质量的快速准确检测且及时反馈检测结果，提升数据源的质量。
-
公开(公告)号：CN111026740A
公开(公告)日：2020-04-17
申请号：CN201911217339.6
申请日：2019-12-03
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/215 , G06F16/2455 , G06F16/2458
摘要： 本发明提供了基于数据指纹的数据对账方法，包括如下步骤：步骤一：数据提供方提供不同业务场景下的数据流，为所述数据流自动匹配数据指纹计算引擎；步骤二：结合数据特征动态自适应调整算法，动态获取接入数据流中的关键属性极其变化，并根据所述关键属性生成数据流的数据指纹；步骤三：根据数据指纹，通过传输节点溯源算法遍历数据提供方和数据接入方的中间节点，将异常对账结果提供给数据提供方和数据接入方。
-
公开(公告)号：CN115994027A
公开(公告)日：2023-04-21
申请号：CN202211407258.4
申请日：2022-11-10
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F9/50
摘要： 本发明提出了一种计算资源动态调度的方法，该方法包括如下步骤：响应于资源分配和动态调节的两种算法，实现对每个任务的特性的自动分析，以及对资源调度引擎的自动匹配；底层的组件层响应于下达的资源调整指令并执行。通过优化不同引擎特征，结合任务规则库，以计算机程序自动构建了精细化的资源分配体系，进而形成针对不同类型任务的资源调度方案，满足各业务场景下的计算资源动态调度需求，解决大数据时代下，困扰已久的业务模型运行稳定性差的问题，实现了多任务融合调度模式，实时动态地调度各业务场景下的业务模型的运行资源需求，大大提高业务模型的运行稳定性，提高大数据对业务赋能的覆盖范围，而且降低大数据项目的建设成本。
-
公开(公告)号：CN115017127A
公开(公告)日：2022-09-06
申请号：CN202210573285.2
申请日：2022-05-25
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/18 , G06F16/215 , G06F16/23 , G06F16/29
摘要： 本发明提供了一种自动巡检采集设备的方法、装置及存储介质，该方法包括：S1,获取各采集设备的采集日志数据；S2,对采集日志数据进行对象归一化处理和地址归一化处理，获得各区域的区域分析信息；S3,分析各区域的区域分析信息，根据各区域的区域分析信息中关联对象信息是否一致来确定异常记录，并在异常记录连续出现的天数达到预定阈值时，确定异常记录对应的采集设备出现异常。利用上述技术方案，可以实现在全域范围的采集设备的巡检工作，且并通过对采集数据中关联对象的一致性分析可以实现对采集设备是否存在异常进行自动判断。
-
公开(公告)号：CN111026740B
公开(公告)日：2022-07-12
申请号：CN201911217339.6
申请日：2019-12-03
申请人： 厦门市美亚柏科信息股份有限公司
IPC分类号： G06F16/215 , G06F16/2455 , G06F16/2458
摘要： 本发明提供了基于数据指纹的数据对账方法，包括如下步骤：步骤一：数据提供方提供不同业务场景下的数据流，为所述数据流自动匹配数据指纹计算引擎；步骤二：结合数据特征动态自适应调整算法，动态获取接入数据流中的关键属性极其变化，并根据所述关键属性生成数据流的数据指纹；步骤三：根据数据指纹，通过传输节点溯源算法遍历数据提供方和数据接入方的中间节点，将异常对账结果提供给数据提供方和数据接入方。
-
-
-
-
-
-
-
-
-
搜索结果
61 条记录 (耗时 0.05 秒)
