您当前的位置:首页 > 互联网百科 > 大数据

终于有人把工业数据采集讲明白了

时间:2022-05-24 15:39:18  来源:  作者:华章科技

导读:工业物联网感知层作为物理世界与数字世界的桥梁,是数据的第一入口。现实情况下,由于感知层数据来源非常多样,来自各种多源异构设备和系统,因此如何从这些设备和系统中获取数据,是工业物联网面临的第一道门槛。在工业领域,感知即通常所说的工业数据采集。

作者:胡典钢

来源:华章科技

终于有人把工业数据采集讲明白了

 

01 工业数据采集的范围

工业数据采集利用泛在感知技术对多源异构设备和系统、环境、人员等一切要素信息进行采集,并通过一定的接口与协议对采集的数据进行解析。信息可能来自加装的物理传感器,也可能来自装备与系统本身。

《智能制造工程实施指南(2016—2020)》将智能传感与控制装备作为关键技术装备研制重点;针对智能制造提出了“体系架构、互联互通和互操作、现场总线和工业以太网融合、工业传感器网络、工业无线、工业网关通信协议和接口等网络标准”,并指出:“针对智能制造感知、控制、决策和执行过程中面临的数据采集、数据集成、数据计算分析等方面存在的问题,开展信息物理系统的顶层设计。”

这里面蕴含两方面信息:一是工业数据采集是智能制造和工业物联网的基础和先决条件,后续的数据分析处理依赖于前端的感知;二是各种网络标准统一后才能实现设备系统间的互联互通,而多种工业协议并存是目前工业数据采集的现状。

广义上,工业数据采集分为工业现场数据采集和工厂外智能产品/移动装备的数据采集(工业数据采集并不局限于工厂,工厂之外的智慧楼宇、城市管理、物流运输、智能仓储、桥梁隧道和公共交通等都是工业数据采集的应用场景),以及对ERP、MES、APS等传统信息系统的数据采集。

如果按传输介质划分,工业数据采集可分为有线网络数据采集和无线网络数据采集。

02 工业数据采集的特点

工业数据采集具有一些鲜明的特征,在面对具体需求时,不同场景会对技术选型产生影响,例如设备的组网方式、数据传输方式、数据本地化处理、数据汇聚和管理等。

1. 多种工业协议并存

工业领域使用的通信协议有很多,如PROFIBUS、Modbus、CAN、HART、EtherCAT、EthernetIP、Modbus/TCP、PROFINET、OPC UA,以及大量的厂商私有协议。这种状况出现,很大程度上是因为工业软硬件系统存在较强的封闭性和复杂性。

设想在工业现场,不同厂商生产的设备,采用不同的工业协议,要实现所有设备的互联,需要对各种协议做解析并进行数据转换,这是工业物联网存量改造项目开展时最先遇到的问题——想要解决“万国牌”设备的数据采集,耗时又费力。

如果是新建设的工厂,应从最开始的规划阶段考虑车间、厂级和跨地域的企业级工业物联网应用要求,在没有历史包袱的情况下,通过制定标准,综合评估现场的电磁环境抗干扰要求、数据带宽要求、传输距离、实时性、组网时支持的设备节点数量限制、星形或Daisy-Chain网络拓扑、后期扩展性等因素,选择合适的技术路线,并设计好OT与IT互通的接口,这将大大降低数据采集的难度和工作量。

2. 时间序列数据

工业数据采集大多数时候带有时间戳,即数据在什么时刻采集。大量工业数据建模、工业知识组件和算法组件,均以时间序列数据作为输入数据,例如时域分析或频域分析方法,都要求原始数据包含时间维度信息。

工业物联网应用越来越丰富,延伸到了更多的场景下,例如室内定位开始在智慧仓储、无人化工厂中探索应用,无论是基于时间还是基于接收功率强度的定位方式,其定位引擎都要求信号带有时间标签,才能完成定位计算,保证时空信息的准确性和可追溯性。

在搭建工业物联网平台时,应结合时间序列数据的特点,在数据传输、存储、分析方面做针对性的考虑。例如时序数据库(Time Series DataBase,TSDB)专门从时间维度进行设计和优化,数据按时间顺序组织管理。

图3-1所示为典型的时间序列数据,存储于关系型数据库中,当数据规模急剧增大时,关系型数据库的处理能力变得吃紧,需要性能更优的数据库。工业数据和互联网数据存在很大差别,前者通常是结构化的,而后者以非结构化数据为主。

终于有人把工业数据采集讲明白了

▲图3-1 时间序列数据示例

3. 实时性

工业数据采集的一个很大特点是实时性,包括数据采集的实时性以及数据处理的实时性。例如基于传感器的数据采集,其中一个重要指标为采样率,即每秒采集多少个点。采样率低的如温湿度采集,采样间隔在分钟级;采样率高一些的如振动信号,每秒钟采集几万个点甚至更多,方便后续信号分析处理以获得高阶谐波分量。

有些大的科学装置,例如粒子加速器的束流监测系统,采样率达数兆每秒。采样率越高意味着单位时间数据量越大,如此大的数据量,如果不加处理直接通过网络传输到数据中心或云端,对于网络的带宽要求非常之高,而且如此大的带宽下,很难保证网络传输的可靠性,可能会产生非常大的传输时延。

而部分工业物联网应用,如设备故障诊断、多机器人协作、状态监测等,由于要求在数据采集(感知)、分析、决策执行之间,完成快速闭环,因此对数据的实时处理有着较高的要求。如果将数据上传到云端,云端分析后再绕一圈回来,指导下一步动作,一来一回产生的时延,很多时候将变得不可接受。

上述业务场景将在靠近数据源头的现场对数据进行即时处理,实时分析,提取特征量,然后基于分析的结果进行本地决策,指导下一步动作,同时将分析结果上传到云端,数据量经过本地处理后大大减小了。图3-2所示是实时振动信号状态监测和数据分析。

终于有人把工业数据采集讲明白了

▲图3-2 实时振动信号状态监测和数据分析

03 工业数据采集的体系结构

工业数据采集体系包括设备接入、协议转换、边缘计算。设备接入是工业数据采集建立物理世界和数字世界连接的起点。设备接入利用有线或无线通信方式,实现工业现场和工厂外智能产品/移动装备的泛在连接,将数据上报到云端。工业数据采集发展了这么多年,存在设备接入的复杂性和多样性。

数据接入后,将对数据进行解析、转换,并通过标准应用层协议如MQTT、HTTP上传到物联网平台。部分工业物联网应用场景,在协议转换后,可能在本地做即时数据分析和预处理,再上传到云端,提升即时性并降低网络带宽压力。

边缘计算近几年发展迅速,大家越来越意识到数据就近处理的优势,无论是实效性还是出于数据安全性考虑,或是网络的可靠性,边缘计算在工业物联网体系中扮演着重要角色,边云协同也逐渐成了共识。

根据硬件载体不同,将设备接入产品分为以下3类,分类并非绝对,不同类别之间的差异,在于其侧重点不同。

1. 通用控制器

第一类是通用控制器,来自工业装备大脑主控,例如可编程逻辑控制器(Programmable Logic Controller,PLC)、微控制单位(MicroController Unit,MCU)等,工业自动化领域存在很多控制和数据采集系统,如分布式控制系统(Distributed Control System,DCS)和数据采集与监视控制系统(Supervisory Control and Data Acquisition,SCADA),它们在承担本职功能的同时,可以作为接入设备使用。

通用控制器通常集成了数字输入输出I/O单元、网络通信单元,以及针对特定应用的选配功能,如模拟量输入单元、模拟量输出单元、计数器单元、运动控制单元等,通过串口或以太网物理接口连接,然后基于现场总线、工业以太网或标准以太网完成数据采集协议的解析,如图3-3所示。

终于有人把工业数据采集讲明白了

▲图3-3 通用控制器

通用控制器应用于数控机床、激光切割机等各种自动化装备、机器人(如机械臂和移动机器人)、SCADA系统的通信管理机,有些自动化装备拥有专用控制器,采用不同的硬件架构如PowerPC、ARM Cortex等。基于通用控制器的设备接入,完成自动化装备自身数据、工艺过程数据采集。

2. 专用数据采集模块

第二类是专用数据采集模块,采集现场对象的物理信号,传感器将物理信号变换为电信号后,专用数据采集模块通过模拟电路的A/D模数转换器或数字电路将电信号转换为可读的数字量。

例如风力发电机利用力传感器实现风机混凝土应力状态的实时在线监测,为风机混凝土基础承载力的评估提供依据,同时利用加速度传感器采集振动信号,在风力发电系统的运行过程中,实时在线监测振动状况并发送检测信息,根据检测信息有效控制风机运转状态,避免由于共振而造成的结构失效,并对超出幅度阈值的振动进行安全预警。

将力传感器和加速度传感器安装固定于风机上,传感器输出端连接到专用数据采集模块的输入端,专用数据采集模块通过网络将数据上传到本地或远端服务器,进行下一步数据分析和可视化。

专用数据采集模块的形式可能是数据采集板卡、嵌入式数据采集系统等。对于自动化装备或机器人,如果某些关注的数据缺失,无法从其通用控制器直接获取,此时可通过加装传感器,配合专用数据采集模块的方式,完成更多维度的数据采集,这种做法很常见。

3. 智能产品和终端

第三类是智能产品和终端,强调远程无线接入和移动属性。例如通过运营商4G/5G蜂窝网络、Wi-Fi等室内短距离通信,或者低功耗广域网无线连接上报数据。通过无线方式可以采集智能产品和终端的各种指标数据,例如电量、信号强度、功耗、定位、嵌入式传感器数据等。

大部分智能产品和终端在产品定义时直接集成了无线通信能力手机和可穿戴设备属于典型的例子。当前智能产品越来越丰富,万物互联时代,默认具备远程接入能力,对智能产品使用过程中的各种运行指标进行监测,分析采集的数据,可以指导研发团队更好地改进产品。

例如具有移动属性的自动化装备,如AGV机器人在室内基于Wi-Fi自组网集群,实现AGV之间的通信,草皮收割机在户外作业时的远程监测和控制。有些产品终端本身不具备远程接入能力,可间接通过数传模块(Data Transfer Unit,DTU)或工业网关,实现同样的效果。

工业数据采集关于数据的界定是非常广义的,它可能来自通用控制器运行时的关键指标,或者传感器采集的某个物理量,或者单纯一个身份标识信息,比如RFID标签EPC数据区定义的标签ID、广播报文中携带的唯一mac地址等,通信双方彼此交换的可能仅仅是简单的身份信息,完成一次确认,无须多余信息,虽然通信双方有能力携带额外信息。

关于作者:胡典钢,资深工业物联网专家,顺丰物联网平台负责人,兼任顺丰集团职业发展评审委员和ZETA联盟工业物联网高级顾问,负责顺丰物联网平台建设及产品化工作。在物联网、边缘计算、工业大数据领域从业10余年,有丰富的实践经验。历任NI公司应用工程师、高级应用工程师、大区销售经理,兼任GSDZone社区专栏作者和海南大学校外专家,NI(中国)首位认证双架构师——LabVIEW架构师和TestStand架构师,主导大型工业自动化测试控制和工业物联网项目的开发工作。2016年受邀撰写专著《TestStand工业自动化测试管理》,广受业界好评,多次重印。

本文摘编自《工业物联网:平台架构、关键技术与应用实践》,经出版方授权发布。(ISBN:978-7-111-70227-6)

终于有人把工业数据采集讲明白了

延伸阅读《工业物联网》

推荐语:这是一本从平台架构、关键技术、应用实践3个维度全面讲解工业物联网如何在生产实践中落地的著作。它是顺丰物联网平台负责人10余年经验的总结,得到了行业里近10位专家的一致推荐。它将帮助企业解决工业物联网推进过程中遇到的OT与IT融合困难、组织协作成本高昂、全局性技术栈选型难把握、项目规模化落地困难风险易低估、数字化转型难聚焦等系列问题。



Tags:数据采集   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
导读:工业物联网感知层作为物理世界与数字世界的桥梁,是数据的第一入口。现实情况下,由于感知层数据来源非常多样,来自各种多源异构设备和系统,因此如何从这些设备和系统中获取数...【详细内容】
2022-05-24  Tags: 数据采集  点击:(0)  评论:(0)  加入收藏
一、HS-1002G/DTU 数据传输终端概述:无需布线,即可解决野外数据传输。☞ 只需4G/3G/2G 网络,即可提供数据采集与无线传输☞ SIM卡接口:1.8V/3V☞ 天线接口:SMA/50Ω☞ 7 模...【详细内容】
2021-05-14  Tags: 数据采集  点击:(176)  评论:(0)  加入收藏
导读:数字化转型要从根本上加强数据的可获得性,围绕我们构建的数据主题和对象丰富数据感知渠道。要追求更加实时、全面、有效、安全的数据获取。作者:华为公司数据管理部来源:华...【详细内容】
2020-12-15  Tags: 数据采集  点击:(150)  评论:(0)  加入收藏
1. 工欲善其事必先利其器做下载的爬虫工程师在开工之前,都是人手必备自己熟练使用的一套工具,最基本的工具包括以下几点:1.1资源展示介质由于资源展示介质多样性,导致爬虫身边必...【详细内容】
2020-12-07  Tags: 数据采集  点击:(141)  评论:(0)  加入收藏
本文由百度智能云音视频SDK产品技术负责人李明路在LiveVideoStack线上分享的演讲内容整理而成,内容从音视频数据角度出发,梳理了音视频SDK的发展和技术演进。详细分析数据在常...【详细内容】
2020-07-31  Tags: 数据采集  点击:(152)  评论:(0)  加入收藏
目标:在中国的股票市场上盈利,每周都有单个股票盈利2%,月总盈利超过2%计划实现方式:Pycharm + Anaconda3 + Python3 + Django + AKShare + MongoDB目前采用的实现方式:Pycharm +...【详细内容】
2020-07-10  Tags: 数据采集  点击:(544)  评论:(0)  加入收藏
Prometheus 数据采集过程介绍Prometheus 从采集数据到将存储的过程中,会对采集目标及数据样本作一系列处理。了解这个过程有利于帮助我们更充分、合理的使用可配参数。一、...【详细内容】
2020-06-23  Tags: 数据采集  点击:(106)  评论:(0)  加入收藏
本系列的技术文章不涉及实现细节,仅探讨实现思路。由于数据仓库不仅仅是一个理论概念,其数据质量等原则包含了大量的技术实现细节,因此从数据采集开始,到数据处理,至最终的数据展现,都需要进行原理上和实现上的思路分析,才能...【详细内容】
2020-04-16  Tags: 数据采集  点击:(134)  评论:(0)  加入收藏
任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采...【详细内容】
2019-11-18  Tags: 数据采集  点击:(126)  评论:(0)  加入收藏
▌简易百科推荐
导读:工业物联网感知层作为物理世界与数字世界的桥梁,是数据的第一入口。现实情况下,由于感知层数据来源非常多样,来自各种多源异构设备和系统,因此如何从这些设备和系统中获取数...【详细内容】
2022-05-24  华章科技    Tags:数据采集   点击:(0)  评论:(0)  加入收藏
数字化浪潮之下,运维能力也逐渐成为现代企业的竞争力之一。在过去的数十年间,运维发展经历了数个阶段。从早期的手工运维到标准化运维、自动化运维,再到DevOps、AIOps,追溯整个...【详细内容】
2022-05-23  博睿数据    Tags:AIOps   点击:(2)  评论:(0)  加入收藏
为了让数据之间的对比展示得更加直观,往往我们会使用柱状图的形式,而近两年,这种动态排序条形图视频超级火,如下图: 还有其他的如世界各个国家GDP的发展、某某沉浮史等等,再加上一...【详细内容】
2022-05-19  迪赛智慧数    Tags:数据可视化   点击:(13)  评论:(0)  加入收藏
近年来,大数据“杀熟”问题一直备受大众关注。一些企业利用包含了个人信息的大数据“杀熟”,对不同群体进行差别定价,实行“价格歧视”,让消费者十分反感。例如,在同样的时间和地...【详细内容】
2022-05-09    北京日报客户端  Tags:大数据   点击:(25)  评论:(0)  加入收藏
1. 什么是大数据?大数据的几个明显的特点:海量的数据数据多样性数据增速快以上特点带来了数据的存储和计算问题,大数据技术的出现就是为了解决上述问题的。接着往下看,下图 1-1...【详细内容】
2022-05-06  大数据技术RYrL    Tags:大数据工程师   点击:(26)  评论:(0)  加入收藏
本文作者 | 经韬纬略智库全文 4586 字 数据是数字化的证据——没有记录下来的事情就没有发生过 追溯——追责、求根源、求真相 监控——监...【详细内容】
2022-05-06  HR菁英    Tags:数据分析   点击:(21)  评论:(0)  加入收藏
对于数据可视化,相信大家都不陌生。不管是众人皆知的双11、双12电商数据大屏,还是最近大家关注的疫情数据可视化,都是直接将我们关注的数据,通过各种分析图表和看板,更加直观地呈...【详细内容】
2022-04-25  葡萄城GrapeCity    Tags:数据可视化   点击:(62)  评论:(0)  加入收藏
一、前言我们都知道python上的一款可视化工具matplotlib,当然百度开源的一个可视化JS工具-Echarts也非常好用,可视化类型非常多,但是得通过导入js库在Java Web项目上运行,平时用...【详细内容】
2022-04-22  司马弈    Tags:数据可视化   点击:(59)  评论:(0)  加入收藏
# 前言superset是一款开源的数据可视化工具,支持多种数据库,经过近一年的摸索,在开源产品中,这款不管是功能上,还是稳定性上都是非常好的,具体效果不多赘述,百度上有很多展示图片。...【详细内容】
2022-04-15  八斗酸儒    Tags:Superset   点击:(49)  评论:(0)  加入收藏
又是一年春招季,你最近有为找工作或换工作而犯愁吗?现在已经进入春招的“金三银四”决赛圈了,再不好好准备真的是黄花菜都要凉了。那么如何才能在“岗少人多”、“僧多粥少”的...【详细内容】
2022-04-13  明月说数据    Tags:数据分析师   点击:(30)  评论:(0)  加入收藏
站内最新
站内热门
站内头条