一种基于模型通道剪裁的深度学习知识蒸馏方法

    公开(公告)号:CN114898165B

    公开(公告)日:2024-08-02

    申请号:CN202210697905.3

    申请日:2022-06-20

    摘要: 一种基于模型通道剪裁的深度学习知识蒸馏方法,具体涉及一种用于图像分类的基于模型通道剪裁的深度学习知识蒸馏方法,本发明为解决现有图像分类在采用知识蒸馏压缩方法时,由于教师模型和学生模型参数量相差太大会使学生模型准确率降低,导致图像分类的准确率较低的问题。将待分类的图像输入教师模型中,利用教师模型每层卷积层中卷积通道的平均秩从大到小进行排序;计算教师模型和学生模型的参数量均值,并与教师模型参数量做变化比例作为通道剪裁总体压缩率;利用通道剪裁技术剪裁冗余卷积通道,得到中间模型;利用中间模型对学生模型进行知识蒸馏,得到新知识蒸馏目标函数并对学生模型进行训练,得到训练好的学生模型。属于知识蒸馏领域。

    多规则协同的数据清洗系统、存储介质及设备

    公开(公告)号:CN116451023A

    公开(公告)日:2023-07-18

    申请号:CN202310386774.1

    申请日:2023-04-12

    摘要: 多规则协同的数据清洗系统、存储介质及设备,涉及计算机数据处理领域。本发明是为了解决现有的数据清洗方法还存在由于逻辑冲突频发和错误率高而导致的难以实现自动数据清洗的问题。本发明包括:规则存储单元:存储修复规则;规则修改单元:修改修复规则;规则冲突检测单元:检测正在计算顺序的规则是否发生冲突;规则修复单元:修复冲突的规则;规则顺序计算单元:计算规则顺序;错误数据检测单元:判断数据错误的原因并推荐修复方式;错误数据修复单元:按照推荐的修复方式和规则顺序对错误数据进行修复;约束修改单元:采用推荐的修复方式修复数据,并将修复方式发送给规则库模块。本发明用于数据清洗。

    时序数据库自适应有损压缩方法、系统及介质

    公开(公告)号:CN114665884B

    公开(公告)日:2022-11-25

    申请号:CN202210318623.8

    申请日:2022-03-29

    IPC分类号: H03M7/30 H03M7/40

    摘要: 时序数据库自适应有损压缩方法、系统及介质,涉及计算机技术领域,针对现有技术中缺少提高数据压缩比的方法的问题,本申请自适应用户的压缩精度需求。用户可以确定压缩精度,通过存储数据段的基和部分偏差来确保压缩在相应的精度内。数据库的数据压缩比高,节省存储空间。有损压缩降低精度,在保持基的同时将部分偏差丢弃,降低存储空间。使用类似Huffman编码的思想进行编码,进一步提升压缩比。编码方式灵活。可以更换编码方式,Huffman编码需要整段全解压缩才能够查询,查询效率低时可以选择更换不同的编码方式来提升效率。

    一种自动选择学生模型结构的图像识别知识蒸馏方法

    公开(公告)号:CN115035341A

    公开(公告)日:2022-09-09

    申请号:CN202210679569.X

    申请日:2022-06-15

    摘要: 一种自动选择学生模型结构的图像识别知识蒸馏方法,涉及知识蒸馏领域。本发明是为了解决现有的图像识别知识蒸馏方法中学生模型结构固定且复杂以及灵活性差,导致了图像识别精度低的问题。本发明包括:将待预测图片数据集输入分类网络中获得图片类别;分类网络获得方式为:利用图片训练集训练深度卷积神经网络,获得训练好的深度卷积神经网络;建立包含多条可选路径的子模型空间:在深度卷积神经网络的每个阶段中,预设深度、卷积通道形式、卷积通道数都不同的“路径”;根据训练好的卷积神经网络与全局目标函数和分阶段目标函数对子模型空间自动选择获得分类网络。本发明用于深度学习模型的压缩。

    一种电视用户收视偏好分析方法

    公开(公告)号:CN110996144A

    公开(公告)日:2020-04-10

    申请号:CN201911314363.1

    申请日:2019-12-19

    IPC分类号: H04N21/258 H04N21/25

    摘要: 本发明涉及一种电视用户收视偏好分析方法,包括:获取数据,进行格式整理及清洗,得到清洗后的数据条目;提取数据条目中的频道名称、节目名称,并对节目进行分类;将数据条目按频道名称分别存储,并根据时段归类;选定时段,对数据条目分类,统计所选时段内频道名称、节目名称、节目类别出现频次,得到热点词统计报告;抽选用户;将数据条目按照用户CA卡号分别存储,根据时段对数据条目归类,并按照时间顺序对事件标识排序,得到用户在各时段内的时序事件序列;生成行为模式图;提取体现偏好倾向的用户行为模式;进行用户行为识别,根据识别结果分析所选用户偏好,得到用户收视偏好报告。该方法能够更为准确、全面的分析用户收视偏好。

    一种基于否定约束的错误数据检测方法及系统

    公开(公告)号:CN117708111A

    公开(公告)日:2024-03-15

    申请号:CN202311742033.9

    申请日:2023-12-18

    摘要: 一种基于否定约束的错误数据检测方法及系统,涉及计算机数据清洗技术领域,针对现有技术中利用否定约束进行错误数据检测存在效率低的问题,本申请利用矩阵的思维保存证据集,用0和1表示是否满足谓词,减少了使用字符串时的重复匹配操作与冗余路径的搜索,在不降低错误数据检测精度的情况下大幅提高了错误数据检测的速度,同时没有降低对错误数据的检测精度。

    一种基于时效平衡树的数据处理方法及系统

    公开(公告)号:CN116561122A

    公开(公告)日:2023-08-08

    申请号:CN202310454483.1

    申请日:2023-04-25

    IPC分类号: G06F16/22 G06F16/2455

    摘要: 一种基于时效平衡树的数据处理方法及系统,具体涉及一种基于时效平衡树的数据处理方法及系统,为了解决计算机的平衡树类结构上存在的短期内被查询频率最高的节点通常消耗代价过高、单次查询消耗通常固定为对数级别时间,使平衡树缺乏对查询频率和近期查询的时效性的敏感性,导致每次查询时间过长的问题。它构建时效平衡树,将数据按照时效平衡树的结构存储,空树、单节点、时效平衡树的左子树和右子树均是时效平衡树,时效平衡树上的每个节点包括检索键值对、时效权值和记录查询轮次,时效权值由衰减法计算。定义时效平衡树的失衡度、平衡状态和旋转方式。依据定义、时效平衡树和时效权值完成计算机数据的处理。属于计算机数据处理领域。

    一种时序数据库自适应数据压缩方法

    公开(公告)号:CN114665885B

    公开(公告)日:2022-11-04

    申请号:CN202210330862.5

    申请日:2022-03-29

    IPC分类号: H03M7/30 G06K9/62 G06N3/04

    摘要: 一种时序数据库自适应数据压缩方法,涉及数据压缩领域。本发明是为了解决目前时序数据压缩方法还存在无法对时序数据的特征和模式自适应压缩以及压缩率低造成内存空间浪费的问题。本发明包括:获取时序数据中的时间戳和Field Value;获取待压缩的时间戳每个时间点的delta‑of‑delta值;根据每个时间点的delta‑of‑delta值进行压缩获得每个时间点的压缩结果;以时间戳每个时间点为间隔将Field Value分为Field Value数据段,利用时间戳时间点的delta‑of‑delta值对Field Value数据段划分,获得Field Value数据小段;将Field Value数据小段输入训练好的神经网络分类器中,获得Field Value数据小段压缩结果;将时间戳压缩结果和Field Value压缩结果存储到内存中,获得时间序列数据压缩结果。本发明用于时序数据的压缩。

    一种时序数据库的数据压缩方法及系统

    公开(公告)号:CN114679184B

    公开(公告)日:2022-11-01

    申请号:CN202210373970.0

    申请日:2022-04-11

    IPC分类号: H03M7/30 H03M7/40

    摘要: 一种时序数据库的数据压缩方法及系统,具体涉及一种时序数据库内的数据压缩方法及系统,本发明为解决时序数据库中压缩算法效率低的问题,利用时序数据库的压缩算法提取原始时序数据,原始时序数据包括整型数据和浮点数据;计算整型数据的delta数组;建立回归模型,设置权重因子为10,将delta数组输入回归模型内进行训练,得到训练好的回归模型;再将delta数组输入训练好的回归模型内,得到整型数据数值预测值;将整型数据数值预测值与真实值作差,得到误差结果;采用ZigZag变换对误差结果进行变换,并利用哈夫曼编码将变换后的误差结果进行保存;对浮点数据进行精度缩减,并采用异或运算进行压缩。属于计算机技术领域。

    面向云边端协同查询的深度学习代价估计系统、方法及设备

    公开(公告)号:CN114911823A

    公开(公告)日:2022-08-16

    申请号:CN202210319734.0

    申请日:2022-03-29

    摘要: 面向云边端协同查询的深度学习代价估计系统、方法及设备,属于计算机技术领域。为了解决于目前还没有一种针对云、边、端三种设备联合查询优化的方法的问题。本发明所述系统中以云边端系统的系统节点元信息和协同查询计划树确定面向云边端协同查询的深度学习代价估计模型的模型输入,代价估计模型根据模型输入进行代价估计;代价估计模型采用残差连接的m个树卷积模块,对协同查询计划树编码进行特征融合和特征提取,进而得到针对每个云/边/端节点的查询计划特征;然后使用GCN和树卷积高效融合了查询特征和云边端数据库系统特征,实现了对云边端数据库的准确代价估计。本发明主要用于面向云边端协同查询的深度学习代价估计。