您当前的位置:首页 > 互联网百科 > 大数据

9大流程,4大工具,谁才是数据分析的关键?

时间:2020-11-12 09:59:31  来源:  作者:

很多人在做数据分析的时候,不知道怎么去开展,或者怀疑自己做出的分析报告是否合理、是否全面,这是因为你对这一套标准化流程没有真正的理解。

9大流程,4大工具,谁才是数据分析的关键?

 

如何通过科学的流程,来得出有价值的分析和建议?今天我们就来讲一下。

数据分析整体流程

来看一下标准化流程的九个步骤:

明确问题——先把问题定义清楚,因为很多人还没理清问题就直接去看数据了;

搭建框架——定义问题之后再把问题考虑全面、找到一条分析主线;

数据提取——MySQL、Hive 等工具提取相关数据;

数据处理——Excel、R、Python 处理数据;

数据分析——以数据分析方法论为主来分析数据;

数据展现——用 Tableau、Excel、R、Python 工具把你的数据展现出来;

撰写报告——考验你的文笔功底以及整体逻辑性;

报告演讲——考验你沟通能力,表达能力,被提问能力。所有的报告撰写完成之后不要直接去讲,还是要和业务方进行大量的沟通,如果不提前做好沟通,你在会议或公众场合上讲时很容易被别人挑战;

报告闭环——这是最难也是最大价值的地方。

这里面的数据提取、数据处理、数据展现是数据分析师前期的基本功,以工具为主,都是比较容易学到的,也比较容易完成。而明确问题、搭建框架、撰写报告、报告演讲、报告闭环更多是考验分析师的综合能力以及智商、情商,所以这块往往需要很多时间去沉淀。

 

基于数据分析这一套标准化流程,其中涉及一些行业常用的工具,这些工具都能做什么?如何匹配不同的场景去使用?下面我简单讲一下。

数据分析常用工具

9大流程,4大工具,谁才是数据分析的关键?

 

1、MySQL、Hive:

基本上所有的数据获取方式都是通过 MySQL、Hive 这两种语言来实现,同时你要学习一些 linux 命令,因为在排查数据异常时会用到。你需要对这两门工具超级熟练,因为数据提取环节是不能出错的,这一步有问题,后面就都有问题。

2、Excel:

Excel 是最高频的数据处理工具。工作中你经常遇到的一种情况,你的 leader 直接让你现场画个图,这时你最有可能用 Excel 而不是 R、Python。

3、R:

R 是一门统计型语言,专门为数据分析而生,简单易学,但缺点是计算能力确实比较差,你导入两个 GB 数据就有可能导致死机。

4、Python:

一门脚本型语言,可扩展性极强,算法必备,但是计算能力确实比较差,你导入两个 GB 数据就有可能导致死机。

Python 和 R 的区别

作为数据分析中最常用的两种编程语言,一直有同学好奇 Python 和 R 有何异同。

Python 和 R 相比, R 的机器学习算法语言 Python 都能很快实现,而对于下面所说的几种情况,R 稍微来说就有一点难度了。

爬虫:爬虫在工作中价值很大,比如爬取一些竞品的数据,用 R 不方便。

比如资讯类 App 的很多文章是通过爬虫下发给大家,像今日头条的一些文章。

文本挖掘:对评论数据研究价值很大,比如对 App 评论数据的分析,从而知道如何去做评论运营闭环。

京东网易 App 的评论运营,其他 App 的热点评论置前。

UDF 函数:Hive 自定义函数有时并不能满足需求,此时就需要自己定义函数来实现需求,这时就可以用 Python 写个 UDF。

如计算机尼系数,在 Hive 中直接调用 UDF 能够很快输出。

对于算法研发同学:个性化推荐、底层运维、Web 开发都是通过 Python 来实现。

总而言之,Python 是非常强大的第三方库。

不管什么样的工具,都是为实现目标所用的“术”,但若想完整的跑通业务,还需要数据思维、业务拆解、方法论这种“道”,希望同学们都能既掌握“术”,更掌握“道”,成长为优秀的数据分析人才!

 

本文转自公众号:勾勾谈数据分析

欢迎大家去找勾勾畅谈数据分析哦



Tags:数据分析   点击:()  评论:()
声明:本站部分内容来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
什么是数据科学数据科学通常被描述为统计和编程的交集。在本文中,我们讲介绍如何在你的电脑上设置立专业数据科学环境,这样你就可以开始动手实践与流行的数据科学库!什么是...【详细内容】
2020-11-12   数据分析  点击:(1)  评论:(0)  加入收藏
很多人在做数据分析的时候,不知道怎么去开展,或者怀疑自己做出的分析报告是否合理、是否全面,这是因为你对这一套标准化流程没有真正的理解。 如何通过科学的流程,来得出有价值...【详细内容】
2020-11-12   数据分析  点击:(5)  评论:(0)  加入收藏
相信很多人都在工作当中听到过不少次数据分析这一词,而数据分析这个词近几年来随着互联网的快速发展,成为商业世界中的流行语。很多具有远见卓识的公司很早就已经开始去“智能...【详细内容】
2020-11-11   数据分析  点击:(14)  评论:(0)  加入收藏
如何做好业务分析(数据分析)?上周我们分析关键是头脑中要有一个业务管理的“理想模型”。那么如何构建这样的一个理想模型(知识图谱)?这里介绍5种方法。——黄迪祺 在...【详细内容】
2020-11-11   数据分析  点击:(3)  评论:(0)  加入收藏
日常工作中,分析师会接到一些专项分析的需求,首先会搜索脑中的分析体系,根据业务需求构建相应的分析模型(不只是机器学习模型),根据模型填充相应维度表,这些维度特征表能够被使用的...【详细内容】
2020-10-28   数据分析  点击:(9)  评论:(0)  加入收藏
随着很多企业规模越来越大,逐步健全了ERP、POS、CRM、OA等IT系统,沉淀了海量的数据资源,如果还是从单一系统来看数据,对于最高决策层来说,就很难全局了解整个公司的整体运营情况,...【详细内容】
2020-10-09   数据分析  点击:(7)  评论:(0)  加入收藏
序言 05 October 2020每次购物,都要花大量的时间去看看货品是否合适,尺寸、接口、规范等等都要一一审核,认真烦。每次遇到非官方的扫脸验证,总是嘀咕扫描数据放哪里了?是不是保管...【详细内容】
2020-10-05   数据分析  点击:(6)  评论:(0)  加入收藏
这几年越来越多的小伙伴涌入数据分析行业,呈现出井喷现象。每每有读者和学员问我如何转行、行业发展前景和个人发展路径,我都会提醒大家大家透过现象看本质,不要只是被表面光环...【详细内容】
2020-09-17   数据分析  点击:(27)  评论:(0)  加入收藏
一、引言在当前的网络环境中,存在着各种流量,包括网络空间扫描流量、搜索引擎爬虫流量、恶意软件的探测流量等等,例如mirai病毒在进行telnet爆破过程中,其目标IP就是随机生成的(...【详细内容】
2020-09-01   数据分析  点击:(47)  评论:(0)  加入收藏
1.象限法适用于对分析对象的划分。确定指标,根据指标的高低,组合出不同类别。2个指标,每个指标有高低之分,可得出4个类别。可视化后,就是二维坐标,每个类别分别落到四象限的一个象...【详细内容】
2020-08-27   数据分析  点击:(8)  评论:(0)  加入收藏
 如果您知道如何以及何时使用泊松回归,它可能是一个非常有用的工具。在大数据分析R中泊松回归模型实例中,我们将深入研究泊松回归,它是什么以及R程序员如何在现实世界中使用它...【详细内容】
2020-08-26   数据分析  点击:(7)  评论:(0)  加入收藏
随着大数据信息化时代的到来,数据分析是各行各业都绕不开的一个话题,企业在发展过程中积累了大量的数据,对这些数据进行专业的分析,能够促进企业更好更精准的发展,能够有效防范企...【详细内容】
2020-08-25   数据分析  点击:(0)  评论:(0)  加入收藏
大数据时代,大数据分析行业水涨船高,很多身边的朋友都想学习一下如何进行大数据分析。经常有人问我该怎么选择大数据分析工具。也对,面对市面上那么多大数据分析工具,大家在选择...【详细内容】
2020-08-18   数据分析  点击:(11)  评论:(0)  加入收藏
 在大数据分析R和RStudio使用指南中,我们将学习如何使用RStudio开始使用R进行编程。我们将安装R和RStudio RStudio,这是R的非常流行的开发环境。我们将学习RStudio的关键功能...【详细内容】
2020-08-18   数据分析  点击:(5)  评论:(0)  加入收藏
一、数据来源本节选用的是Python的第三方库seaborn自带的数据集,该小费数据集为餐饮行业收集的数据,其中total_bill为消费总金额、tip为小费金额、sex为顾客性别、smoker为顾...【详细内容】
2020-08-17   数据分析  点击:(5)  评论:(0)  加入收藏
为了更好地掌握数据科学必备库Pandas的基本使用,本文通过精灵宝可梦的数据集实战,我们一起过一遍Pandas的基本操作,文中的代码都附有注释,并给出了结果的配图。话不多说,我们开始...【详细内容】
2020-08-17   数据分析  点击:(4)  评论:(0)  加入收藏
频制作工具类,主流的视频剪辑,素材,字幕制作的工具都在这里 与音频相关的一些网站和工具。建议收藏,说不定那天就能用上了 一些图片处理的相关的网站和工具,大家都用的错不了...【详细内容】
2020-08-14   数据分析  点击:(8)  评论:(0)  加入收藏
“用数据分析,精准定位用户,精准发现用户需求,精准推荐产品”是很多很多地方都在吹的故事。然而就像儿童故事《咕咚来了》,大家都听说了这个咕咚(精准),可精准到底长啥样,怎么数据就...【详细内容】
2020-08-12   数据分析  点击:(6)  评论:(0)  加入收藏
 2020年受疫情影响,化妆品行业的销售业绩有所下滑,大部分的线下门店被迫暂停营业,为缓解营业压力和现金流危机,许多商家纷纷加大了线上业务的销售力度。而近年来,随着化妆品行业...【详细内容】
2020-08-12   数据分析  点击:(11)  评论:(0)  加入收藏
一、数据可视化概述数据可视化是在整个数据分析非常重要的一个辅助工具,可以清晰的理解数据,从而调整我们的分析方法。- 能将数据进行可视化,更直观的呈现- 使数据更加客观、...【详细内容】
2020-08-11   数据分析  点击:(4)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条