您当前的位置:首页 > 互联网百科 > 大数据

如何为大数据分析选择服务器?

时间:2020-08-01 14:50:10  来源:  作者:



近年来,各种商业实体和消费者已广泛接受了收集交易细节并将其存储为数据的方式。随着的越来越多交易活动的产生,数据的存储量也随之增加。大多数时候,这些数据会逐渐超出公司正常的存储容量,这使得数据处理和使用变得艰难,所以大数据优化就必不可少了。

什么是大数据?

由于“大数据”一词是相对的,所以没有对“大数据”一词的直接定义,但大数据可以指与用户端和小型服务器的存储和处理能力不匹配的任何数据收集。对于小型企业,少量的TB可以称为“大数据”,而大型企业对大数据的定义可能超过1 PB甚至更多。

大数据也可以基于以下五个标准来考虑:

速度:按照此标准,数据按收集速度进行分类。多年来,网络和硬件的技术进步确保了企业同时收集数据的速度提高。

价值:是指所收集数据中的价值。企业可能会存储大量可能有助决策的信息。尽管收集所有相关信息较为安全,但应进行审核以决定收集哪些数据,以及收集的数据是否有助于分析后的决策。

多样性:多样性是指所收集数据的不同形式。各种各样的大数据可以是结构化的也可以是非结构化的。结构化数据包括诸如电话号码,客户的电子邮件地址等信息,而非结构化数据可以采用评论产品的文章的形式。

可靠度:这是指数据中真实的可信任的部分,不可靠的数据是收集大数据的徒劳努力,且大部分数据在分析后就失去了利用价值。

大小:处理收集的信息量。大数据的大小因所收集数据的性质而异。例如,从电影托管Web服务器收集的大数据比从小型企业收集的大数据大的多。

大数据分析的最佳工具是什么?

借助为此目的制造的某些工具,可以高效,快速地进行大数据分析。这些工具利用高效的存储系统和特定的算法在短时间内分析大量数据。一些用于分析大数据的最佳工具是:

  • Apache Spark; 主要用于技术型企业,政府,电信公司和金融机构。它是大数据分布式处理的框架
  • Cassandra; 最初由社交媒体大公司Facebook开发,它是NoSQL分布式数据库。
  • Elastic search;从监视基础结构到企业的搜索引擎,它具有广泛的用途。它可以作为搜索和分析引擎,也可以进行分发。
  • KNIME;它包括使用数据挖掘和机器学习工具的数据分析机制。

关于相关数据的类型和数量,可以使用流行的关系数据库工具(如PostgreSQL和MySQL)来分析大数据。

服务器集群对比单服务器处理大数据

实际上,用于分析大数据的工具一般在多台服务器上共享。他们利用多个服务器中存在的资源来立即处理大量数据。例如,Hadoop被设计为利用集群中链接的数十个或几百个单一服务器。

但是,不强迫用户使用多台独立服务器。在为小型企业分析大数据时,一台可靠而强大的专用服务器就足够了。在高规格的独立服务器上,可以使用虚拟机集群来替换Hadoop节点之类的工具。许多公司将各个专用服务器的群集链接在一起以生成其私有云,从而将所有资源整合到一个点。这有助于他们有效地组织和分配资源,以便在私有云上进行多个大数据分析。

在集群服务器和单台服务器之间,对于企业的大数据结构而言,最佳选择取决于相关数据量,大小是否可调整,是否具有冗余组件以及要使用的软件。

优化服务器大数据以进行分析

为分析大数据而选择和优化专用服务器时,需要考虑以下因素:如果要将大量要处理的数据传输到服务器中,则如果要使用集群,则作为服务器之间链接的背板必须能够持久地保存大量数据,通常使用为直接执行而优化的工具每台服务器上有许多线程并在许多服务器之间共享工作,一些大数据工具经过优化,可以处理“内存中”数据,而该过程恰好比基于磁盘的数据处理快。

尽管对于专用服务器托管,没有足够的解决方案来处理大数据。但是,以下准则将帮助您规划大数据管理系统。

  • 带宽

您的服务器通常会从数据中心或第三方接收大量数据。如果服务器没有足够的容量来保存数据,则可能会出现网络不稳定的情况。如果要经常将大量数据发送到服务器,则最低建议为1 Gbps。 但是不同地区的数据中心,带宽资源可能存在差异。

  • 内存

大RAM始终是有益的。诸如Couchbase之类的工具会在内存中处理进程,如果因为RAM不足而无法对存储进行读写,则处理速度将被拖累。分析大数据的应用程序将始终使用尽可能多的RAM和可用空间。在处理生产任务时,首选具有64 GB或更大RAM容量的专用服务器,尽管这不是行业准则。

  • 存储

最好是您的服务器有足够的空间来分析数据。理想的是空间足够大,以容纳在分析过程中创建的其他数据。最好选用SSD硬盘,但并不一定总是需要使用SSD存储为专用服务器存储TB级数据。SSD与SATA硬盘搭配使用才是最合适的。

  • CPU

Spark之类的工具可将处理任务分散在多个线程中。这些任务跨计算机的内核并行执行。Spark将使用至少具有8到16个内核的服务器,但这可能会根据正在处理的负载大小而增加。与使用少数几个更强大的内核相比,使用多核将更好地增强性能。



Tags:大数据分析   点击:()  评论:()
声明:本站部分内容来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
近年来,各种商业实体和消费者已广泛接受了收集交易细节并将其存储为数据的方式。随着的越来越多交易活动的产生,数据的存储量也随之增加。大多数时候,这些数据会逐渐超出公司...【详细内容】
2020-08-01   大数据分析  点击:(0)  评论:(0)  加入收藏
Apache Spark是一个用于大规模数据分析处理的引擎。它支持Java、Scala、Python和R语言。在数据分析人工智能领域 Python的使用已经远超其它语言。其中Spark还支持一组丰富的...【详细内容】
2020-06-28   大数据分析  点击:(9)  评论:(0)  加入收藏
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器...【详细内容】
2020-04-15   大数据分析  点击:(9)  评论:(0)  加入收藏
来自阿里CTO张建锋对阿里中台战略思想与架构实战的深度评价:本篇讲述了阿里巴巴的技术发展史,同时也是一部 互联网技术架构的实践与发展史。为一个复杂的、高速发展的业务构建...【详细内容】
2020-04-02   大数据分析  点击:(8)  评论:(0)  加入收藏
AI这个词,仿佛自带高大上光环无论它身在哪个行业总会让人们发出惊叹:AI打败排名世界第一的围棋选手,WOW!AI能帮你驾驶汽车,Awesome!AI能诊断疾病,Niubility!在这个言高科技必称AI的...【详细内容】
2020-03-27   大数据分析  点击:(13)  评论:(0)  加入收藏
疫情的地图数据可视化大家都看过吧,支付宝和各大新闻app里都有: 在这次疫情防控中,足以可见大数据和数据可视化的重要作用,利用大数据追踪每个人每辆车的行踪,利用数据可视化对重...【详细内容】
2020-03-12   大数据分析  点击:(15)  评论:(0)  加入收藏
我今年30岁了,已经工作了快8年,上有老下有小,但是我看不到自己工作的未来,想辞职又不敢,这种情况下可以转行吗?一般情况下,我不告诉当事人晚或者不晚这个非黑即白的答案。因为懂的...【详细内容】
2020-03-11   大数据分析  点击:(7)  评论:(0)  加入收藏
流量时代下,越来越多的人涌现到“新媒体”这个巨大的流量池;它不仅是个人观念的表达,也是群体的集合,可以说,新媒体是最大的社群运营体系,做新媒体,内容运营是王道,但除了内容运营外...【详细内容】
2019-12-02   大数据分析  点击:(41)  评论:(0)  加入收藏
数据透视从研发到上市经历了一段漫长的过程,越来越多的朋友开始使用这套大数据分析软件了,很多朋友都是从一家店做到几家店铺,甚至有的朋友做到了工作室和城市合伙人的程度,大家...【详细内容】
2019-08-13   大数据分析  点击:(85)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条