公开(公告)号：CN117294508A

公开(公告)日：2023-12-26

申请号：CN202311338104.9

申请日：2023-10-16

Applicant: 杭州安恒信息技术股份有限公司

Inventor： 唐宇飞 ,  葛德成

IPC: H04L9/40

Abstract: 本申请涉及一种网络黑灰产业识别方法、装置和计算机设备。所述方法包括：利用预设的可逆加密算法，对黑产网站指纹进行加密，得到加密后的密文和密文所对应的密钥；在预设的保密环境中，利用密钥对密文进行解密，并利用有向无环图，对解密得到的黑产网站指纹以及待识别的网站的明文数据进行匹配，得到待识别的网站的明文数据的黑产标签。采用本方法能够解决现有的网络黑灰产业识别方法存在保密性差的问题。

公开(公告)号：CN117056322A

公开(公告)日：2023-11-14

申请号：CN202310924652.3

申请日：2023-07-26

Applicant: 杭州安恒信息技术股份有限公司

Inventor： 葛德成 ,  王欣

IPC: G06F16/215 ,  G06F16/22 ,  G06F16/23 ,  G06F9/50

Abstract: 本申请涉及一种基于元数据的Hadoop数据质量监控及资源调配方法和装置，其中，基于元数据的Hadoop数据质量监控及资源调配方法包括：通过获取预设时间段所述Hive元数据库中各数据表的基础元数据；统计各所述数据表的平均更新频次以及对应的离线清洗任务的平均集群资源使用量；确定各所述数据表每次更新后的平均质量评分，并结合人工标定等级，确定各所述离线清洗任务的优先级；基于各所述离线清洗任务的优先级以及各所述数据表每次更新后的平均质量评分，使用自动化脚本对Hadoop集群的各所述离线清洗任务进行资源调配。本实施例使用元数据作为基础数据，避免传统查询所产生的大量资源消耗，实现了对Hadoop集群资源进行自动的动态调配，提高了Hadoop集群资源的利用率。

公开(公告)号：CN113961426A

公开(公告)日：2022-01-21

申请号：CN202111347455.7

申请日：2021-11-15

Applicant: 杭州安恒信息技术股份有限公司

Inventor： 葛德成 ,  范渊 ,  黄进

IPC: G06F11/30 ,  G06F11/32 ,  G06F16/215 ,  G06F16/28

Abstract: 本申请涉及一种基于数据仓库的数据质量监控方法、系统、计算机和存储介质，其中，该方法包括接收登录指令；构建包括Kafka数据流偏移量、工作流时长和yarn资源使用量组合的源数据仓库数据；获取创建的自定义的数据仓库数据质量指标；获取数据仓库数据质量安全阈值，计算所述源数据仓库数据与所述数据仓库数据质量指标的差异值；判断所述差异值是否超出所述数据仓库数据质量安全阈值；若是，则发送报警信号，输出所述源数据仓库数据中异常数据来源信息。通过本申请，解决数据质量监控系统存在的衡量数据质量的检测项单一、无自定义调度实现数据增长情况的监控功能、无自定义阈值设定实现数据增长异常、度量数据异常报警及报警不及时等情况的技术问题。