泛在电力物联网即将落地，这对数据有何要求？

百度智能云

今年能源行业有个热词是“泛在电力物联网”，这是国家电网公司推进“三型两网”建设的重要内容和关键环节。按照规划，到2021年初步建成泛在电力物联网，基本实现业务协同和数据贯通；到2024年，全面实现业务协同、数据贯通和统一物联管理，形成共建共治共享的能源互联网生态圈。

 

当前，业内纷纷开展对泛在电力物联网的研究和部署工作。百度智能云结合边缘计算、物联网、时序数据的技术特性，对泛在电力物联网的数据利用提出了一些看法，供业内参考。

 

泛在电力物联网是什么？

 

按照业内通用解释，泛在电力物联网是指围绕电力系统各环节，充分应用移动互联、人工智能等现代信息技术、先进通信技术，实现电力系统各环节万物互联、人机交互，具有状态全面感知、信息高效处理、应用便捷灵活特征的智慧服务系统，包含感知层、网络层、平台层、应用层四层结构。

 

泛在电力物联网的出现，不仅是技术的变革，更是管理思维的提升和管理理念的创新。泛在电力物联网将电力用户及其设备、电网企业及其设备、发电企业及其设备、供应商及其设备、以及人和物连接起来，产生共享数据，为用户、电网、供应商和其他社会机构提供服务。

 

一、如何通过专门的时序数据处理体系应对激增的数据量？

 

未来泛在物联网应用之后，数据量会激增，需要更专业的基础数据组件来处理。

 

以智能电表为例，通常商业用电都采集96点数据：即每天采集96次数据，也就是15分钟发送一条记录到云端。以全国智能电表6亿台来计算，一天产生的数据条数就会高达576亿条。

 

以Hadoop体系为代表的互联网大数据解决方案，主要处理的是互联网领域的非结构化数据，比如微博数据、搜索记录、新闻热点、爬虫数据等，不足以完全应对泛在物联网的数据特点。

 

泛在物联网的数据与传统大数据有如下区别：

 

▷ 时间序列特征明显，数据只有时间戳和数值在变化。

▷ 数据量大，上报频率高，并且维度多。

▷ 写多读少，90%以上是写场景，10%是读场景。

▷ 读写正交，同一个时间点写入多个维度数据，但通常会跨时间范围来读取同一个维度。

▷ 聚合分析，大量数据的聚合值更有意义。

 

 

 

针对泛在物联网数据的这些特点，对系统提出了更高的要求：

 

▷ 数据要压缩存储以节省成本。

▷ 高效的写入性能，且可横向扩展。

▷ 极高的查询性能，查询一段历史数据的聚合值要能秒级返回。

▷ 开放融合，与大数据平台生态融合以及标准SQL接口，方便集成各种大数据应用。

 

通过对泛在电力物联网时序数据的高性能存储和处理，让泛在物联的数据高效处理成为可能，为数据的有效利用打下基础。

 

二、时序数据治理如何与传统数据治理融合？

 

在泛在物联网的背景下，大量时序数据的产生为传统数据治理也带来了新的思路。时序数据往往数据量大、价值分散，要充分利用时序数据的特点和优势，来支撑企业整体的数据治理框架。

 

时间序列数据大部分通过设备采集传输而得到。因为传感器设备及网络等原因，在采集、 传输等各个环节都可能会出现问题，导致数据质量难以保证，加大了数据治理的难度。时间序列数据ETL有异常检测、数据填充、数据质量判断几个方面，和传统数据相比多了时间维度。

 

 

举三个典型的时序数据处理形式：

 

▷ 异常检测就是检测时间序列数据中的异常数据。例如，在几秒范围内，温度传感器不会报告差异很大的温度读数，不会显示出温度的剧烈变化。

▷ 数据填充是对异常值和缺失值根据周期、趋势等进行填充。

▷ 数据质量判断是对上传时间序列数据进行质量判断。数据质量过差时，可以及时让数据上传方修改问题（如更换传感器）。

 

通过对时序数据的治理和处理，给模型应用开发提供了条件，结合云端应用模型开发和物联网的边缘计算，将释放物联网的强大力量。

 

三、边缘计算释放数据价值

 

以上两点对数据的处理只是基础。随着边缘计算的发展，云端的模型应用已经具备在边缘端运行的条件。设备上报数据到云端处理的传统物联网结构也正在慢慢向“边云融合”的架构融合发展。

 

为什么边缘计算会在物联网的场景下发挥这么重要的价值呢，对于应用开发者来说，端上开发有以下几个难点：

 

1、端上的环境非常复杂，端上适配难。主要的通信芯片厂家有40多家，主要的控制芯片厂家有20多家，就算是最近刚兴起的AI芯片主要厂家也已经有10多家，与芯片适配的片上系统也非常复杂，所以端上适配模型就变得很困难。

 

2、管理海量设备和应用分发难。边缘计算的场景，不仅仅是设备管理和上传数据，大量的应用都是在云端完成训练和开发，需要同时分发到各个边缘侧，那就要有一个稳定的分发体系来保障。

 

通过“边”和“云”的协同，实现了“数据上行、知识下行”，实现更有层次的企业IT架构，特点如下。

 

►  “云上分发，边缘执行”。边缘计算的云上实现应用开发，通过端云一体框架将应用分发到边缘执行。边缘计算已经成为物联网云平台的一部分，通过边缘计算，可以降低远传延迟、减少传输流量，并且可以允许数据临时离线，实现数据私有化。

 

► “云上管理，海量边缘”。在云端基于物联网来进行海量边缘设备的管理，并且可以进行应用配置、应用分发和更新、应用运行监控等。

 

► “边云协同，数据闭环”。物联网设备的数据上传到云上以后，云上基于海量数据实现应用开发，通过多级应用分发将应用分发到本地运行；本地的应用运行监控又可以将数据传到云端，对应用进行自动调优，调优后的模型又可以自动分发到本地。完成数据与应用的闭环。

 

举个例子，面向电网巡检视频分析场景，通过智能边缘，将机器视觉模型放置在无人机上，可以识别杆塔是否需要维护，通过端云一体，可以将可用样本回传到云端进行模型优化，并且远程升级优化。既降低了视频的远传带宽成本，也减少了人工作业，保障工作人员安全。 

 

 

小结：迎接开局之年 

 

2019年是泛在电力物联网建设“三年攻坚”战略突破期的开局之年，我们相信随着泛在物联网的应用建设的不断加快，基于时序数据+边缘计算的技术将渗透到电力用户、电网企业、发电企业的各类应用中，为全行业和更多市场主体创造更大的机遇。

 

百度智能云也将推进解决方案的落地，与业内共建生态圈，助力泛在电力物联网的建设。