物联网数据处理方式,如何处理海量采集数据?

来源: | 2022-03-07
众所周知,物联网连接的设备有数以百亿千亿计。而且每个物联网设备的终端,都在不停的产生数据。比如需要监控温度变化的设备终端,可能在记录每时每刻的温度,所产生的数据是实时的。它不象我们连接网络,你不在浏览的时候,不会主动产生数据。物联网设备在实时监控(可能是温度、湿度、图像、视频等等)的时候,它将产品海量的数据资料,那么这些数据要怎么传输呢?

一般来说,物联网物联传输处理过程,首先要进行数据接收,也就是将采集的数据进行汇总,再进行数据传输,到中央处理系统(通常指服务器),再通过数据存储、分析、加工,再将需要的结果,通过应用程序反向设备发送相关操作指令。


一、批处理
批处理的方法就是隔一段时间就分批次的处理一次积攒的数据。一般情况下先把数据存入数据库里,隔一段时间就从数据库里获取,执行处理。这种方式适用于不需要紧急处理的工作环境,比如气象温度、湿度、风向数据,冰箱及空调等相关数据,城市监控等数据。批处理需要在规定的时间内处理规定范围的数据,因此数据量越多,执行处理数据的服务器就要求性能越好。
随着物联网设备的逐渐增多,人们需要处理的数据量也越来越大,人们处理这些庞大的设备量得到的图像、声音及各种传感器获得的数据,进行存取、分析、处理并得到所需数据,就是大数据的应用了。一般大数据都需要用到分布式数据处理方式及数据库。分布式数据处理平台主要有:、Apache Spark、Redis数据库、Mongodb数据库、Elasticsearch数据库等。

二、流处理
流处理的方式,是不保存所有数据,只搜集需要而且有用的数据,其它数据都会直接被丢弃。比如我只想做一个温度预警的消防装置,虽然温度传感器在实时监测温度数据,但是只要没有超过我的预设值,数据都是直接丢弃不用的。只有超过预设值(比如我可以设置3个数值),才会向数据库存储,并且通过服务器进行分析,然后做出相应的反应。比如是有消防警示,或者启动灭火设备等。
批处理是把数据攒起来,一段时间一次性处理的方法。而流处理,是不保存数据,按照数据流的顺序依次进行处理。就是没用的丢弃,没用的继续丢弃,有用的直接存储。
想实时对数据做出反应的时候,流处理就是一个很有效的处理方法。可以减少数据的存储和提升效率。

返回列表
关注微信公众号

热门资讯