一种容器化分布式数据采集处理方法、装置、设备及介质
摘要:
本发明公开了一种容器化分布式数据采集处理方法、装置、设备及介质。该方法包括至少一个分布式容器,该分布式容器用于执行如下步骤:接收海量终端设备采集的待处理数据;对所述待处理数据进行解析处理,得到目标格式的待存储数据;对所述待存储数据按照预先设置的规则进行转换处理,得到待使用数据;对所述待使用数据合并处理,得到目标存储数据。本发明实施例的技术方案,通过在计算机集群上部署容器化分布式节点,可基于各分布式节点对海量终端设备上传的待处理数据进行解析、转换以及合并处理,实现了对不同终端类型上传的海量数据进行实时地处理,扩大数据处理容量的同时提高了数据处理效率。
0/0