您当前的位置:首页 > 互联网百科 > 大数据

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

时间:2022-04-25 09:23:43  来源:  作者:葡萄城GrapeCity

对于数据可视化,相信大家都不陌生。不管是众人皆知的双11、双12电商数据大屏,还是最近大家关注的疫情数据可视化,都是直接将我们关注的数据,通过各种分析图表和看板,更加直观地呈现在我们眼前。让我们更容易去查看数据的趋势,去记住并理解数据。

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 

什么是实时数据可视化?

很多人,可能不禁要问,数据可视化不就是把数据通过柱形图、饼图、折线图等图表展示出来吗?这个看起来并不复杂。

是的,大家有这种想法很正常。特别是各位“表哥表姐”,伴随着“9毛9学Python/ target=_blank class=infotextkey>Python”的浪潮,大家已经突破Excel的图表,通过Python尝试学习制作各种更加复杂、美观的图表了。

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 

然而,大家日常用的图表,大部分的数据对实时性要求并不是很高,我们把这一类数据称为静态数据。因为它们在相对较长的时间内不会变化,可能更新时间是一天,甚至更久。然而,在我们的生产生活中,更多使用的都是动态数据,就是需要经常更新和变化的数据。动态数据是指在系统应用中随时间变化而改变的数据,如库存数据等。电商双11的数据统计,也是类似的场景,天猫的数据大屏上显示的成交额数字,就是采集到大家下单和支付的数据,直接推送到数据大屏上的。大家看到的数据,就是实时动态更新的真实数据。

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 

动态数据和时间变化紧密相关,能够直接反映事务发生过程,比如,网站访问量、在线人数、实时销售额等等。在很多可视化场景中,对于时间变化频率要求很高,需要达到秒级甚至毫秒级,这就是实时数据可视化。实时数据就是动态数据中非常有代表性的数据,也是生产制造、电商、金融、互联网等众多行业最为关注的数据。他们需要密切关注实时数据,一旦数据延迟,会造成不可估量的损失。

实时数据可视化的实现原理

实时数据(RTD)是在收集后立即传递的信息,通过设备、采集器或其他平台所提供信息即时被“消费”,没有延迟。实时数据通常用于监控或跟踪,以及实时计算和分析的场景。举个例子,生产车间要实时监控产线的运行状态和生产情况,设备的运行数据就需要实时采集,同时通过数据可视化来监控。发生异常时需要第一时间进行报警。车间常用的MOM管理指挥中心的数据,就是通过这种机制来实现的。

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 

下面以 Wyn 商业智能软件为例,为大家普及下关于实时数据可视化的实现原理。

在Wyn Enterprise中,提供了两种用于动态数据可视化的数据集:推送数据集和流式数据集。我们来了解一下这两个数据集之间的区别。

 

1.推送数据集:

使用推送数据集,数据将直接推送到Wyn Enterprise服务中。Wyn Enterprise服务在接收到数据后,会自动创建一个数据表用来存储数据集。因为有一个服务会不断的将数据传入进行存储。所以,我们每次查看图表时,数据集所查询到的数据都是最新的。可以用于报警、数据刷新等场景。

推送数据集的更新,是通过数据集的定时刷新触发的数据更新。使用推送数据集后,结合定时刷新将数据实时展示到仪表板中,达到实时展示的效果。

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 

2.流式处理数据集:

使用流式处理数据集,数据也会被直接推送到 Wyn 服务中。Wyn 服务在接收到数据后,会自动创建一个数据缓存。与推送数据集有个本质的区别;就是流式处理数据集不会创建数据表,只会临时存储到缓存中,根据设定存储时间会过期,过期后则数据自动清空。临时缓存仅仅用于展示一些历史存在过的数据,只用来表示数据历史,如一个小时内的空气质量检测,一个小时内的设备运行状态等,或是实时显示出一个小时内数据的折线图等效果图。

在实际应用中,流式数据集对象适合处理最小化数据,对于时间维度来说具有非常强的表现能力,可以直观地显示出所推送的数据。

从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 


从天猫数据大屏出发,带你看看实时数据可视化究竟是怎么实现的

 

实时数据可视化的趋势

目前,在很多业务场景中,用户需要查看业务指标的实时数据大小,已经对数据展示的时效性提出了更高的要求。事实上,实时数据可视化在我们身边有各种各样的应用场景,随着物联网技术、5G技术的发展,实时数据可视化的场景将越来越多。比如工业领域的实时环境指标观测、产品生产加工的实时监测、金融领域的股票证券交易数据实时展示、城市交通路况的实时监测等。随着IoT概念的逐渐升温,会有更多行业的各种业务场景对实时数据可视化提出更高的要求。因此,不难预见,在商业智能领域,实时数据可视化将为以智能制造、智慧园区、智慧金融等领域为代表的“智慧+”企业的数字化转型带来更多的价值。



Tags:数据可视化   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
数据可视化在网络安全中的关键作用
在当今数字化时代,网络安全已成为各大企业乃至国家安全的重要组成部分。随着网络攻击的日益复杂和隐蔽,传统的网络安全防护措施已难以满足需求,急需新型的解决方案以增强网络防...【详细内容】
2024-03-29  Search: 数据可视化  点击:(22)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  Search: 数据可视化  点击:(11)  评论:(0)  加入收藏
Rust中的数据可视化指南
可视化是数据分析和解释的一个关键方面。虽然Rust主要以其性能和安全特性而闻名,但它也为数据可视化提供了强大的工具。在这个全面的指南中,我们将深入研究Rust中的数据可视化...【详细内容】
2024-03-07  Search: 数据可视化  点击:(35)  评论:(0)  加入收藏
构建Flask 数据可视化大屏
引言数据可视化是现代应用开发中不可或缺的一环,而使用 Flask 构建数据可视化大屏是一个既有趣又具有挑战性的项目。在这篇文章中,我们将深入介绍如何借助 Flask 后端和纯 HTM...【详细内容】
2023-12-27  Search: 数据可视化  点击:(84)  评论:(0)  加入收藏
基于Python实现大规模光栅人口数据可视化
译者 | 朱先忠审校 | 重楼我经常看到网上流传着美丽的人口地图;然而,我也常常会遇到一些技术问题,比如可视化本文中显示的其他的地图片段,或者将大规模光栅数据转换为更便于计算...【详细内容】
2023-12-14  Search: 数据可视化  点击:(274)  评论:(0)  加入收藏
埋点数据可视化的探索与实践
如何进行埋点数据的分析?埋点是数据采集的专用术语,在数据驱动型业务中,如营销策略、产品迭代、业务分析、用户画像等,都依赖于数据提供决策支持,希望通过数据来捕捉特定的用户行...【详细内容】
2023-11-30  Search: 数据可视化  点击:(62)  评论:(0)  加入收藏
Python数据可视化:使用pyecharts创建交互式图表
数据可视化是数据分析和呈现的重要组成部分。通过可视化,数据可以更容易地被理解和解释。Python中有许多强大的数据可视化工具,其中之一是pyecharts,它是一个基于Echarts库的Py...【详细内容】
2023-10-28  Search: 数据可视化  点击:(143)  评论:(0)  加入收藏
Python数据可视化与图表绘制:让数据一目了然
Python 提供了多种数据可视化库,使得数据的可视化和图表绘制变得非常简单和灵活。下面将介绍一些常用的 Python 数据可视化库,并分享如何使用它们来创建各种类型的图表。一、M...【详细内容】
2023-10-07  Search: 数据可视化  点击:(338)  评论:(0)  加入收藏
你是否知道如何使用Python Matplotlib创建令人惊叹的数据可视化?
Python Matplotlib 的使用Python Matplotlib 是一个基于 Python 的 2D 绘图库,能够生成各种静态、动态、交互式的图表,支持多种输出格式,包括图片、PDF、SVG 等。Matplotlib 提...【详细内容】
2023-08-31  Search: 数据可视化  点击:(238)  评论:(0)  加入收藏
Tableau Desktop 2021数据可视化工具
软件特点一、快速获得可行的见解将图表构建者抛在后面。实时视觉分析推动了无限的数据探索。交互式仪表板可帮助您即时发现隐藏的见解。Tableau利用人们的自然能力快速发现...【详细内容】
2023-08-31  Search: 数据可视化  点击:(255)  评论:(0)  加入收藏
▌简易百科推荐
大数据杀熟何时告别“人人喊打却无可奈何”?
2月7日郑州飞往珠海的航班,不同手机、不同账号搜索该航班显示出不同价格。图源网络有网友近日分享在某平台的购票经历,引发社会广泛关注——用3个账号买同一航班同...【详细内容】
2024-01-30    中国青年网  Tags:大数据杀熟   点击:(34)  评论:(0)  加入收藏
简易百科:到底什么是大数据?
随着互联网的快速发展,大数据已经成为了当今社会最热门的话题之一。那么,到底什么是大数据呢?首先,我们需要明确大数据的定义。大数据是指数据量极大、类型繁多、处理难度高的数...【详细内容】
2024-01-30    简易百科  Tags:大数据   点击:(40)  评论:(0)  加入收藏
数据采集新篇章:AI与大模型的融合应用
开篇在AIGC(人工智能与通用计算)应用中,大型语言模型(LLM)占据着举足轻重的地位。这些模型,如GPT和BERT系列,通过处理和分析庞大的数据集,已经极大地推动了自然语言理解和生成的边界...【详细内容】
2024-01-17  崔皓  51CTO  Tags:数据采集   点击:(55)  评论:(0)  加入收藏
挑战 Spark 和 Flink?大数据技术栈的突围和战争
十年的轮回,正如大数据的发展一般,它既是一个轮回的结束,也是崭新的起点。大数据在过去的二十年中蓬勃发展,从无到有,崛起为最具爆炸性的技术领域之一,逐渐演变成为每个企业不可或...【详细内容】
2024-01-17  InfoQ    Tags:大数据   点击:(40)  评论:(0)  加入收藏
分布式存储系统在大数据处理中扮演着怎样的角色?
如果存储节点本身可以定制,则通常会让其支持部分计算能力,以利用数据的亲和性,将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储,无法定制,则通常会将数据在计...【详细内容】
2023-12-19  木鸟杂记  微信公众号  Tags:大数据   点击:(49)  评论:(0)  加入收藏
大数据如何实时拯救生命:车联网的数据分析有助预防交通事故
译者 | 李睿审校 | 重楼车联网(IoV)是汽车行业与物联网相结合的产物。预计车联网数据规模将越来越大,尤其是当电动汽车成为汽车市场新的增长引擎。问题是:用户的数据平台准备...【详细内容】
2023-12-19    51CTO  Tags:大数据   点击:(43)  评论:(0)  加入收藏
利用生成对抗网络进行匿名化数据处理
在互联网时代,数据日益成为人们的生产资料。然而,在某些情况下,我们需要分享数据,但又需要保护个人隐私。这时,匿名化技术就显得尤为重要。本文将介绍利用生成对抗网络进行匿名化...【详细内容】
2023-12-18  技巧达人小影    Tags:数据处理   点击:(57)  评论:(0)  加入收藏
盘点那些常见的数据中心类型,你知道几个?
在数字化潮流的浪潮下,数据中心如同企业的神经系统,关系到业务的稳健运转。而在这个巨大的网络中,各种数据中心类型如雨后春笋般崭露头角。从企业级的个性至云数据中心的虚拟化...【详细内容】
2023-12-07  数据中心之家  微信公众号  Tags:数据中心   点击:(71)  评论:(0)  加入收藏
数据中心的七个关键特征
随着信息技术的不断演进,数据中心的可靠性、可扩展性、高效性、安全性、灵活性、管理性和可持续性成为业界探讨的焦点。下面让我们一同深入剖析这些关键特征,了解它们是如何影...【详细内容】
2023-12-06  数据中心之家  微信公众号  Tags:数据   点击:(65)  评论:(0)  加入收藏
什么是数据解析?将数据转化为更好的决策
什么是数据解析?数据解析是一门专注于从数据中获取洞察力的学科。它包含数据分析(data analysis)和管理的流程、工具和技术,包括数据的收集、组织和存储。数据解析的主要目的是...【详细内容】
2023-12-06  计算机世界    Tags:数据解析   点击:(67)  评论:(0)  加入收藏
站内最新
站内热门
站内头条