一种降低回源率的CDN请求调度方法

    公开(公告)号:CN117201618A

    公开(公告)日:2023-12-08

    申请号:CN202310898434.7

    申请日:2023-07-21

    IPC分类号: H04L67/63 H04L67/60

    摘要: 本发明公开了一种降低回源率的CDN请求调度方法,包括:设定一个圆,在圆周上均匀布置多个节点;将内容分发网络的中转节点做哈希计算,每个中转节点得到一个哈希值,根据中转节点的哈希值将中转节点对应到圆的节点上,得到布置有中转节点的圆;当客户端发出一个请求,请求到达边缘节点时,边缘节点对请求进行哈希计算得到哈希值,再将哈希值对应到布置有中转节点的圆上找到离节点的值最为接近的中转节点,通过找到的中转节点回客户源站请求,完成CDN请求调度。本发明使用一致性哈希算法对边缘节点到中转的请求进行调度,使得边缘请求在中转缓存存在的情况下能够正确的从对应的中转节点拿到资源返回给客户端,降低回源率。

    一种在CDN中应用的AI视频压缩方法

    公开(公告)号:CN116366881A

    公开(公告)日:2023-06-30

    申请号:CN202310243572.1

    申请日:2023-03-14

    摘要: 本发明公开了一种在CDN中应用的AI视频压缩方法,包括:记录用户向CDN节点发起视频点播请求的日志数据,筛出热度视频,并分析得到热度视频的特征向量;将向量输入到BERT模型中训练得到热度指标向量,热度指标向量与所有点播视频的带宽数据点积得到带宽指标值,根据带宽指标值对所有点播视频进行排序;选取队列头部的视频输入分类模型做智能场景识别,将分类结果输入压缩策略确定模型,获得压缩策略模板;使用视频处理增强算法先对队列头部的视频进行调整,再根据压缩策略确定模型输出的压缩策略指导编码得到压缩后的视频,将视频分发至对应的内容分发网络的边缘服务器中。本发明全流程可自动有效执行,无需人工干预。

    一种高效可伸缩的CDN日志处理方法及系统

    公开(公告)号:CN115801562B

    公开(公告)日:2024-08-16

    申请号:CN202211363596.2

    申请日:2022-11-02

    摘要: 本发明公开了一种高效可伸缩的CDN日志处理方法及系统,包括:分布式消息引擎模块,接收日志处理任务,将日志处理任务缓存在任务处理队列中等待拉取;原始日志读取模块,从分布式消息引擎模块拉取到日志处理任务,解析并执行日志处理任务,将保存在分布式存储模块的日志文件按流式读取,将读出的日志;日志分流投递模块,解析计算得到消息主题的索引号,由计算的索引号确定对应的消息主题;日志聚合处理模块将日志消息解析、提取、聚合后分别写入到不同的日志文件中并保存。本发明能够根据不同业务规模动态伸缩处理节点的实例数量,能够更高效地利用机器资源,同时提高系统整体可用性,降低维护人员负担。

    一种基于增量聚合的高可靠日志投递方法

    公开(公告)号:CN118171004A

    公开(公告)日:2024-06-11

    申请号:CN202410105130.5

    申请日:2024-01-25

    摘要: 本发明公开了一种基于增量聚合的高可靠日志投递方法。本发明为了实现日志的增量聚合,采用了分三次聚合的方案,第一次聚合针对的是同一台机器的所有日志,第二次聚合针对的是同一个节点的所有日志,第三次聚合是针对CDN全网的所有日志。本发明通过本地存储(Redis)来暂存未成功上报的数据,提供容错机制,当本地存储故障,会将日志存储到到同一内网下其它机器的Redis上。本发明同分批次聚合可以减少中间传输的日志量,减少公网带宽的占用,减少各个阶段日志通过公网上报时占用的传输带宽,同时增加日志的聚合度,减少最终日志存储和日志分析的资源消耗。

    一种基于多因素的动态视频处理任务调度方法

    公开(公告)号:CN117880508A

    公开(公告)日:2024-04-12

    申请号:CN202311758528.0

    申请日:2023-12-20

    摘要: 本发明公开了一种基于多因素的动态视频处理任务调度方法,包括:用户提交视频处理任务的目标参数;任务调度平台接收到视频处理任务,并获取与任务关联的用户元数据;任务调度平台从数据库中读取集群算力并从数据库中获取任务队列的实时任务数量;在任务调度平台部署等待队列,等待用户上传待处理的视频文件,当等待队列中接收到用户上传的视频文件时,从视频文件中获取视频元数据,将视频元数据、目标参数、用户元数据和集群算力添加为任务属性,根据任务属性确定视频处理任务的优先级并排序处理。本发明方法能够在处理大规模视频任务时,考虑多个关键因素,实现对任务调度的动态优化。

    一种用来减少CDN系统中缓存刷新请求的系统

    公开(公告)号:CN117112209A

    公开(公告)日:2023-11-24

    申请号:CN202311052092.3

    申请日:2023-08-21

    IPC分类号: G06F9/50 G06F16/172 G06F16/18

    摘要: 本发明公开了一种用来减少CDN系统中缓存刷新请求的系统,包括:刷新请求接收模块,用于接收用户的刷新请求并进行转发;过滤源数据生成模块,用于接收CDN系统回源节点的回源日志并对回源日志进行哈希计算并整合得到过滤源数据;刷新请求过滤模块,用于接收所述刷新请求接收模块转发的刷新请求并读取所述过滤源数据生成模块的过滤源数据,根据过滤源数据判断是否丢弃刷新请求。本发明通过该系统可以过滤掉CDN系统中大部分的空刷新,减少缓存组件的压力的同时也加速了真正需要刷新的缓存资源的处理速度。

    一种基于深度学习的睑板腺形态分析方法

    公开(公告)号:CN116128825A

    公开(公告)日:2023-05-16

    申请号:CN202211720980.3

    申请日:2022-12-30

    IPC分类号: G06T7/00 G06N3/08 G06N3/0464

    摘要: 本发明公开了一种基于深度学习的睑板腺形态分析方法,包括:通过图片质量增强模块对眼表图片进行增强获得眼表图像;对眼表图像标注睑板范围和腺体范围,得到睑板坐标和腺体坐标;将睑板坐标和腺体坐标结合眼表图像进行数据增强,对增强后的睑板图像、增强后的腺体图像以及增强后的眼表图像进行训练,得到睑板腺形态分析初步模型;将数据中的真实图片GT输入到睑板腺形态分析初步模型中,得到模型预测图片P;真实图片GT和模型预测图片P的腺体面积相对位置做交并比计算,通过交并比值优化睑板腺形态分析初步模型,得到睑板腺形态分析模型,通过睑板腺形态分析模型对睑板腺形态分析。

    一种高效可伸缩的CDN日志处理方法及系统

    公开(公告)号:CN115801562A

    公开(公告)日:2023-03-14

    申请号:CN202211363596.2

    申请日:2022-11-02

    摘要: 本发明公开了一种高效可伸缩的CDN日志处理方法及系统,包括:分布式消息引擎模块,接收日志处理任务,将日志处理任务缓存在任务处理队列中等待拉取;原始日志读取模块,从分布式消息引擎模块拉取到日志处理任务,解析并执行日志处理任务,将保存在分布式存储模块的日志文件按流式读取,将读出的日志;日志分流投递模块,解析计算得到消息主题的索引号,由计算的索引号确定对应的消息主题;日志聚合处理模块将日志消息解析、提取、聚合后分别写入到不同的日志文件中并保存。本发明能够根据不同业务规模动态伸缩处理节点的实例数量,能够更高效地利用机器资源,同时提高系统整体可用性,降低维护人员负担。