公开(公告)号：CN117221319A

公开(公告)日：2023-12-12

申请号：CN202311221859.0

申请日：2023-09-21

申请人： 中电信数智科技有限公司

发明人： 朱斌 ,  张宝玉 ,  李宗倍 ,  窦康

IPC分类号： H04L67/10 ,  H04L41/0273

摘要： 本发明公开了一种大数据平台用户信息同步和管理方法以及系统，属于大数据平台技术领域，包括在大数据集群外的服务器上部署IPA服务端；对大数据集群内的所有服务器部署IPA客户端；将部署IPA客户端的所有服务器注册到IPA服务端的DNS服务中；对IPA服务端的LDAP服务进行管理和配置；配置大数据集群内所有服务器的Ranger服务；调用IPA服务端的IPA命令行，统一创建相互对应的Kerberos用户、LDAP用户和所有大数据集群服务器本地Linux用户；Ranger服务使用统一创建的LDAP用户进行权限策略配置，Kerberos服务使用统一创建的Kerberos用户进行身份验证，本发明实现了大数据集群Kerberos安全认证机制中Linux本地用户和Kerberos用户同步创建，以及和Ranger权限管理系统的账户同步。

公开(公告)号：CN117149873A

公开(公告)日：2023-12-01

申请号：CN202311107986.8

申请日：2023-08-30

申请人： 中电信数智科技有限公司

发明人： 李海伟 ,  朱斌 ,  张宝玉 ,  李宗倍 ,  窦康

IPC分类号： G06F16/25 ,  G06F16/242

摘要： 本发明提出了一种基于流批一体化的数据湖服务平台构建方法，包括：采用Flink CDC方式将数据源统一接入数据作业底层；构建数据湖服务平台和数据总线接入作业任务，将数据源统一接入至数据湖中；由数据湖服务平台对数据进行分布式文件和元数据的统一存储，并对接入的数据采用统一的数据湖表格式；采用Flink作为流批一体计算引擎，基于Flink SQL GateWay构建统一数据湖服务平台的网关，并统一采用Flink SQL作为流批数据处理的开发语言，实现对接入后的数据根据业务时效性进行流批处理；作业监控中心判断metrics数据的指标是否达到预设告警阈值时，并在达到时发送告警通知给相关管理员。本发明提升了数据计算结果质量，还提升了企业研发效率及资源利用率，降低维护成本。