一种基于爬虫网络框架的数据采集储存系统及其方法

    公开(公告)号:CN114238734A

    公开(公告)日:2022-03-25

    申请号:CN202111489435.3

    申请日:2021-12-08

    IPC分类号: G06F16/951 G06F16/955

    摘要: 本发明公开了一种基于爬虫网络框架的数据采集储存系统及其方法,包括爬虫引擎、调度器、下载器、解析器、存储管道,调度器、下载器、解析器分别与爬虫引擎信号连接;通道包括项目管道、业务逻辑模块;业务逻辑模块在项目管道中分拣结构化数据和非结构数据,并将不同类别的数据存储至不用的存储模块中;调度器与下载器中间设置有去重模块,去重模块采用MD5算法对URL去重。现有技术去重模块设置的位置一般在存储通道位置,其去重时间长,爬取网页速度慢,本发明设置在调度器与下载器数据传递之间,节省了去重时间;另外,本发明存储通道具备MongoDB集群技术,结构化数据和非结构化数据最后统一整合至MongoDB集群中,具备通用性。

    一种通信电源用动环监控系统及配套设备

    公开(公告)号:CN114035484A

    公开(公告)日:2022-02-11

    申请号:CN202111442188.1

    申请日:2021-11-30

    IPC分类号: G05B19/042

    摘要: 本发明涉及一种通信电源用动环监控系统及配套设备,包括主控机,主控机的外部装配有无线控制机,主控机的后端装配有监控传感器,在使用时,将无线控制机连接在主控机的外部,并且将无线应答机连接至监控传感器外部的电源线和信号线的外部,在信号电缆断开时,则立即启动无线模块收集识别器上游的信号,经过编码解码模块将电信号编码向无线控制机端传输,实现应急效果的无线传输链接并预警,在电源线缆断开时,立即启动由电池构成的电源模块为识别器供电,并且报警等待修理,有效的解决了现有的动环监控系统采用的普通传输方式具有断路风险,不具备应急使用的功能,在动环监控某一部分失效的时间内无法提供稳定的监控效果的问题。

    一种基于局部图边划分的微服务拓扑建模方法

    公开(公告)号:CN115941497A

    公开(公告)日:2023-04-07

    申请号:CN202211418686.7

    申请日:2022-11-14

    IPC分类号: H04L41/12 H04L41/14

    摘要: 本发明公开了一种基于局部图边划分的微服务拓扑建模方法,包括通过微服务之间的调用关系构建调用链数据,其中将微服务作为节点,微服务之间的调用的集合作为边;对构建的调用链数据,根据子图的模块性将图边划分为两个阶段,其中在第一阶段采用图划分策略,选择最近和局部最大度顶点;在第二阶段根据分区策略,选择使局部分区最紧密的顶点,实现微服务依赖图的分块;通过图论算法构建不同分块之间的调用拓扑图,完成微服务和微服务之前互相调用链的拓扑建模。本发明通过两阶段局部图边划分算法对微服务之前进行图分块,仅使用局部信息来划分图的数据,根据局部分区的模块化变化,将分区过程分为两个阶段,有效提升微服务拓扑建模的准确度。

    一种异常话单处理方法及处理系统

    公开(公告)号:CN114244963A

    公开(公告)日:2022-03-25

    申请号:CN202111544194.8

    申请日:2021-12-16

    IPC分类号: H04M15/00 H04M15/10

    摘要: 本发明公开了一种异常话单处理方法及处理系统,所述异常话单处理方法利用话单文本信息可依次判断话单是否为有效的外网话单、是否为交叉话单、是否为无主话单,并将最终经过处理后的话单存储至计费系统的机主‑主叫号码‑话单表中,用于后期计费使用,其中,判断话单是否为有效的外网话单、判断话单是否为交叉话单的步骤可以将无需计费的话单排除至计费系统外,判断话单是否为无主话单的步骤可以自动找到无主话单的机主并将其计入计费系统,避免了因计费系统与电网行政交换网信息不同步而导致无主话单无法计费的问题,另外,该步骤还可以将无主话单对应的主机号码自动加入到计费系统,实现计费系统中主机号码与机主对应信息的自动更新。

    一种分布式光纤自动监测系统

    公开(公告)号:CN112291007B

    公开(公告)日:2022-02-22

    申请号:CN202011177457.1

    申请日:2020-10-29

    IPC分类号: H04B10/25 H04B17/30

    摘要: 本发明提供了一种分布式光纤自动监测系统,其可实现光纤性能参数的自动采集、分析以及远程监控,检测精度高,可准确定位故障点,其包括向光纤内发射光信号的光源、光信号采集模块、光信号处理模块、通信模块、远程监控平台,光信号采集模块包括控制器、光时域反射仪、拉曼光时域反射仪、波分复用器、光功率计,光信号处理模块通过通信模块与远程监控平台通信连接,光源发出的入射光和探测光分别从光纤的两端射入,在光纤上产生布里渊背向散射光、拉曼背向散射光,光信号采集模块用于采集布里渊背向散射光、拉曼背向散射光的时间和强度,采用上述光纤自动监测系统对光纤的光功率信息、信噪比、温度信息监测。