基于流式计算的海量数据清洗的方法

    公开(公告)号:CN111858569A

    公开(公告)日:2020-10-30

    申请号:CN202010616966.3

    申请日:2020-07-01

    IPC分类号: G06F16/215 G06F16/25

    摘要: 本发明基于流式计算的海量数据清洗的方法,包括如下步骤:异构数据源通过数据接入模块统一接入数据,并以统一的格式推送入消息队列Kafka中,等待数据清洗,并将接入情况反馈给调度中心;配置清洗算子和设计算子流程图;计算集群中的计算节点与调度中心通信,调用算子流程图,按照设计的算子流程图的流程进行清洗操作,并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据,通过Kafka将数据源格式进行统一,方便数据清洗统一处理。多个计算节点采用分布式并列形式部署,能够根据需求动态横向扩展,面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作,具有很强的通用性。

    三维地质覆盖层模型的快速重构方法

    公开(公告)号:CN108550187B

    公开(公告)日:2022-12-23

    申请号:CN201810302243.9

    申请日:2018-04-04

    IPC分类号: G06T17/05 G06F30/20

    摘要: 本发明提供一种三维地质覆盖层模型的快速重构方法,包括如下步骤:a.将覆盖层边界线导入三维地形曲面模型;b.将覆盖层边界线沿竖直方向拉伸,再与地形曲面进行分割形成覆盖层上表面;c.提取覆盖层上表面边界;d.钻孔点导入三维地形曲面模型;e.钻孔点投影到覆盖层上表面;f.构建覆盖层下底面,使覆盖层下底面精确通过钻孔;g.添加虚拟钻孔;h.将覆盖层下底面与地形实体进行修剪生成覆盖层体;i.通过改变或增加钻孔点,使覆盖层体厚度随之相应改变。传统覆盖层模型中存在覆盖层下底面无法精确通过钻孔点,覆盖层模型精度无法保证,无法快速重构,重复性工作量大、建模过程繁琐的问题。本发明可快速自动更新,实现了覆盖层模型的快速重构。

    三维地质覆盖层模型的快速重构方法

    公开(公告)号:CN108550187A

    公开(公告)日:2018-09-18

    申请号:CN201810302243.9

    申请日:2018-04-04

    IPC分类号: G06T17/05 G06F17/50

    摘要: 本发明提供一种三维地质覆盖层模型的快速重构方法,包括如下步骤:a.将覆盖层边界线导入三维地形曲面模型;b.将覆盖层边界线沿竖直方向拉伸,再与地形曲面进行分割形成覆盖层上表面;c.提取覆盖层上表面边界;d.钻孔点导入三维地形曲面模型;e.钻孔点投影到覆盖层上表面;f.构建覆盖层下底面,使覆盖层下底面精确通过钻孔;g.添加虚拟钻孔;h.将覆盖层下底面与地形实体进行修剪生成覆盖层体;i.通过改变或增加钻孔点,使覆盖层体厚度随之相应改变。传统覆盖层模型中存在覆盖层下底面无法精确通过钻孔点,覆盖层模型精度无法保证,无法快速重构,重复性工作量大、建模过程繁琐的问题。本发明可快速自动更新,实现了覆盖层模型的快速重构。

    CATIA三维地质模型结构树信息编码方法

    公开(公告)号:CN111984752A

    公开(公告)日:2020-11-24

    申请号:CN202010746393.6

    申请日:2020-07-29

    发明人: 韩旭

    IPC分类号: G06F16/29 G06T17/05

    摘要: 本发明涉及一种CATIA三维地质模型结构树信息编码方法,该编码方法,包括以下步骤:建立三维地质模型;将三维地质模型结构树信息进行分类集中;根据结构树信息分类进行分级,分级信息包括项目名称、代码、勘察阶段、专业类型和分类属性;建立各分级结构树信息编码规则,编码规则包括编码的依据、编码的结构形式、内容组成、编码长度和编码采用的符号;根据上述规则对各级结构树信息进行编码。将三维地质模型的地质信息分类集中,分级编码,规范了地质模型结构树信息的表达方式,提高了地质模型的应用效率与水平。