-
公开(公告)号：CN118535164A
公开(公告)日：2024-08-23
申请号：CN202410252093.0
申请日：2024-03-06
申请人： 北京科杰科技有限公司
IPC分类号： G06F8/41
摘要： 本发明涉及数据处理领域，尤其涉及一种基于Linux二进制文件的链接依赖转换方法，本发明包括步骤S1,将二进制文件格式划分为若干片段，包括，文件头片段、代码片段、数据片段以及链接片段，步骤S2，读取文件头片段，根据文件头片段定位到section table，步骤S3，根据section table中的内容，定位到链接片段，步骤S4，遍历链接片段，按照预定的替换内容将链接片段的输出流类替换，不同工程、项目之间可以独立升级，互不影响，当第三方库升级后，只要保证调用的函数名、函数参数不变，可以达到不修改源码，不用重新编译，动态替换的效果。
-
公开(公告)号：CN118227340B
公开(公告)日：2024-08-16
申请号：CN202410641944.0
申请日：2024-05-23
申请人： 北京科杰科技有限公司
IPC分类号： G06F9/50 , G06F16/242 , G06F16/2453 , G06F16/2458
摘要： 本发明涉及数据处理技术领域，尤其涉及一种基于Spark‑SQL语句特性的自动资源分配优化方法，包括以下步骤：对历史Spark‑SQL任务的资源数据进行采样，对采样后得到的若干资源数据依次进行预处理和特征提取；使用所述资源分配模型对Spark‑SQL语句进行资源分配，收集资源分配模型的运行特征数据以对资源分配模型进行优化；将所述资源分配模型配置到Hadoop集群中，对Spark‑SQL任务进行资源分配优化；基于实际输出与标准输出的资源分配方案数据量的差异量对资源分配优化的准确性进行判定；在二次判定特征提取的准确性不符合要求时确定特征提取的自学习周期；基于资源数据的平均处理时长对特征提取的自学习周期进行二次调节。本发明实现了对于资源分配优化的准确性的提高。
-
公开(公告)号：CN118484552A
公开(公告)日：2024-08-13
申请号：CN202410653578.0
申请日：2024-05-24
申请人： 北京科杰科技有限公司
IPC分类号： G06F16/535 , G06F16/583 , G06F40/284 , G06T3/40
摘要： 本发明涉及人工智能领域，尤其涉及一种用于图片RGB色块比例排序方法，包括：采集用户输入的文本；划分文本后提取关键词；将提取的所述关键词分别在特征词库和情感词库中进行比对后获取特征关键词和情感关键词；基于颜色词汇表确定各特征关键词和情感关键词对应的颜色词汇；采用均值法确定文本RGB颜色分量比例；基于特征关键词从图库中筛选对应图片；基于图片兆字节数确定图片RGB颜色分量比例统计策略后完成图片RGB颜色分量比例的计算；确定色彩偏差评价值，并根据色彩偏差评价值判定图片的筛选是否符合预设标准，优化了大模型图片的生成和色彩渲染。
-
公开(公告)号：CN118332606B
公开(公告)日：2024-08-09
申请号：CN202410748603.3
申请日：2024-06-12
申请人： 北京科杰科技有限公司
IPC分类号： G06F21/62
摘要： 本发明涉及数据脱敏技术领域，尤其涉及一种基于大数据处理的数据脱敏方法及装置。该方法包括，步骤S1，分段；步骤S2，匹配；步骤S3，脱敏处理；步骤S4，储存。本发明通过将通信数据文件分为若干段分别处理，提高处理效率，在对脱敏数据匹配替换数据的过程中，若实施简单的一对一映射，即，每个脱敏数据对应一个替换数据，不足以保护隐私，因此，将一个真实脱敏数据设定为随机映射，例如用户地址被映射到另一个地址的概率是随机的，以保护用户隐私的同时，尽可能保留数据的统计特性，经过脱敏处理后，原始数据被转换成了脱敏后的数据，系统将这些经过处理的数据存储到数据仓库中，便于数据查询和分析使用，确保对脱敏信息的有效保护。
-
公开(公告)号：CN118445281A
公开(公告)日：2024-08-06
申请号：CN202410683891.9
申请日：2024-05-30
申请人： 北京科杰科技有限公司
IPC分类号： G06F16/215 , G06F16/2455 , G06F16/2458 , G06F9/54
摘要： 本发明涉及数据处理技术领域，尤其涉及一种基于Flink SQL的流式数据质量监控方法，包括，将预设的字段规则数据对数据表的数据进行约束；通过Flink应用程序对所述数据库中的字段规则数据进行读取，解析；通过Flink SQL结合自定义算子对实时的数据情况进行分析；Flink应用程序将数据情况分析结果进行统计，并存储；在Flink SQL结合自定义算子对实时的数据情况进行分析时进行初次判定流式数据质量，并对数据库中的分析结果进行周期性分析，再次判定流式数据质量。本发明通过Flink的结合组件和设计算子可以对流式数据进行数据监控，在一定程度对流式数据质量进行保证和监控，并且可以根据当前的业务情况通过自定义的算子和自定义的规则灵活改变。
-
公开(公告)号：CN118210578B
公开(公告)日：2024-07-23
申请号：CN202410627009.9
申请日：2024-05-21
申请人： 北京科杰科技有限公司
摘要： 本发明涉及数据处理领域，尤其涉及一种用于多数据源平台的管理系统，包括：数据采集单元，用以采集需求信息；数据分析单元，用以根据节点使用增幅参考值以及节点波动参考值确定节点使用状态以及根据节点使用状态确定调度控制指令；组合执行单元，其用以执行节点组合调节的调度控制指令，其中，组合执行单元根据关联状态确定节点组合调节方式；调度控制单元，用以执行调度卸载的调度控制指令，其中，调度控制单元根据目标节点对应的处理组合中的节点负载均衡度以及任务关联度确定任务状态；本发明针对节点状态以及任务场景状况的实际变化状况进行有效监测，进而使得多数据源任务的管理以及卸载的效率有所提高。
-
公开(公告)号：CN118332605A
公开(公告)日：2024-07-12
申请号：CN202410748531.2
申请日：2024-06-12
申请人： 北京科杰科技有限公司
摘要： 本发明涉及数据处理技术领域，尤其涉及一种基于mybatis插件多数据源适配的方法，包括：确定基础数据库和迁移数据库的数据定义规则，配置对应的mybatis插件进行数据转译；设置数据库加密规则；使用mybatis插件对需要进行转译的SQL语句进行处理前，在基础数据库的业务逻辑层配置加密表达规则；使用mybatis插件对加密后的数据进行转译并将转译后的数据输出至迁移数据库；确定是否达到安全解密条件；达到安全解密条件后，在mybatis插件断开与迁移数据库的连接后，将转译后的数据解密为输出数据；本发明有效地保证了数据适配过程中的数据安全性，提高了数据适配的准确性。
-
公开(公告)号：CN118331712A
公开(公告)日：2024-07-12
申请号：CN202410748580.6
申请日：2024-06-12
申请人： 北京科杰科技有限公司
摘要： 本发明涉及数据处理技术领域，尤其涉及一种Spark多任务依赖调度方法，包括以下步骤：任务提交组件将用户输入的任务调度语法提交到DAG图生成组件，所述DAG图生成组件根据弹性分布式数据集对所述任务调度语法中的依赖关系进行解析并生成依赖任务执行计划的DAG图；使用依赖任务调度组件根据所述依赖关系对所述依赖任务执行计划中的所有任务进行调度；基于任务调度平均时长对垃圾回收触发阈值进行初次调节，或，根据实际任务调度的差异数量占比对同时调度的任务数量进行调节，或，基于DAG图中对任务依赖关系的遗漏数量占比对弹性分布式数据集的调用粒度进行调节。本发明实现了任务调度效率的提高。
-
公开(公告)号：CN118277404A
公开(公告)日：2024-07-02
申请号：CN202410233645.3
申请日：2024-03-01
申请人： 北京科杰科技有限公司
IPC分类号： G06F16/242 , G06F16/2455 , G06F16/2453 , G06F16/248 , G06N20/00
摘要： 本发明涉及数据库技术领域，尤其涉及一种针对不同数据库不同sq1语法db‑text‑to‑sql，包括，S1，连接数据库，根据数据库类型进行加载模板和数据库预训练sql；S2，遍历数据源数据库和数据库中的所有表的建表语句；S3，初始化模型，对模型进行微调；S4，判断sql是否是查询类型的；S5，记录到预训练sql库中；S6，若判断sql不是查询类型原样输出sql。提高了数据查询效率。
-
公开(公告)号：CN118250295A
公开(公告)日：2024-06-25
申请号：CN202410669011.2
申请日：2024-05-28
申请人： 北京科杰科技有限公司
IPC分类号： H04L67/1097 , G06F16/16 , G06F16/13 , H04L67/06 , H04L67/1074 , H04L61/5046
摘要： 本发明涉及文件处理技术领域，尤其涉及一种多网络环境的访问对象存储方法，包括，针对多局域网中的各设备对IP的访问次数进行监控，根据单个设备针对同一IP在预设检测时长的访问次数对访问对象的运行状态是否符合预设标准进行判定；根据预设历史时长内单个设备针对单个IP的访问次数与预设历史时长的比值二次确定访问对象的运行状态是否符合预设标准；对单个设备与单个IP对应的各设备的关联度进行存储，或根据单个设备与单个IP传输的数据的数据量与传输时长的比值确定针对并行文件模块的处理方式；确定针对单个设备的处理方式；在判定用调节后的运行参数运行。提高了数据传输的稳定性，进而提高了数据传输的效率。
-
-
-
-
-
-
-
-
-
搜索结果
96 条记录 (耗时 0.039 秒)
