您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

程序员大佬带你玩转 Python数据分析

时间:2021-04-01 17:20:51  来源:今日头条  作者:北漂编程

前言

数据分析是通过明确分析目的,梳理并确定分析逻辑,针对性的收集、整理数据,并采用统计、挖掘技术分析,提取有用信息和展示结论的过程,是数据科学领域的核心技能。本篇文章有点长都是慢慢的干货,需要耐心观看

程序员大佬带你玩转 Python数据分析指南

 

本文从数据分析常用逻辑框架及技术方法出发,结合Python/ target=_blank class=infotextkey>Python项目实战全面解读数据分析,可以系统掌握数据分析的框架套路,快速上手数据分析。

一、 数据分析的逻辑 --构建系统的分析维度及指标

程序员大佬带你玩转 Python数据分析指南

 

1.1 PEST分析法

PEST分析是指宏观环境的分析,宏观环境是指影响一切行业或企业的各种宏观力量。P是政治(Politics),E是经济(Economy),S是社会(Society),T是技术(Technology)。通常是战略咨询顾问用来帮助企业检阅其外部宏观环境的一种方法,以吉利收购沃尔沃为例:

程序员大佬带你玩转 Python数据分析指南

 

1.2 5W2H分析法

5W2H分析法又称七何分析法,包括:Why、What、Where、When、Who、How、How much 。主要用于用户行为分析、业务问题专题分析、营销活动等,是一个方便又实用的工具。

程序员大佬带你玩转 Python数据分析指南

 

1.3 逻辑树分析法

程序员大佬带你玩转 Python数据分析指南

 

逻辑树是分析问题最常用的工具之一,它是将问题的所有子问题分层罗列,从最高层开始,并逐步向下扩展。使用逻辑树分析的主要优点是保证解决问题的过程的完整性,且方便将工作细分为便于操作的任务,确定各部分的优先顺序,明确地把责任落实到个人。

程序员大佬带你玩转 Python数据分析指南

 

1.4 4P营销理论

4P即产品(Product)、价格(Price)、渠道(Place)、促销(Promotion),在营销领域,这种以市场为导向的营销组合理论,被企业应用最普遍。通过将四者的结合、协调发展,从而提高企业的市场份额,达到最终获利的目的。

4P营销理论适用于分析企业的经营状况,可视为企业内部环境,PEST分析的是企业在外部面对的环境。

程序员大佬带你玩转 Python数据分析指南

 

1.5 SCQA分析法

SCQA分析是一个“结构化表达”工具,即S(Situation)情景、C(Complication)冲突、Q(Question)疑问、A(Answer)回答。

程序员大佬带你玩转 Python数据分析指南

 

整个结构是通过描述当事者的现实状态,然后带出冲突和核心问题,通过结构化分析以提供更为明智的解决方案。以校园招聘SCQA分析为例:

程序员大佬带你玩转 Python数据分析指南

 

1.6 SMART分析法

SMART法是一种目标管理方法,即对目标的S(Specific)明确性,M(Measurable)可衡量性,A(Attainable)可实现性,R(Relevant)相关性,T(Time-based)时限性。

程序员大佬带你玩转 Python数据分析指南

 

1.7 SWOT分析法

SWOT分析法也叫态势分析法,S (Strengths)是优势、W (Weaknesses)是劣势,O (Opportunities)是机会、T (Threats)是威胁或风险。常用来确定企业自身的内部优势、劣势和外部的机会和威胁等,从而将公司的战略与公司内部与外部环境有机地结合起来。以HUAWEI 的SWOT分析为例:

程序员大佬带你玩转 Python数据分析指南

 

二、 数据分析的技术方法

数据分析的技术方法是指提取出关键指标信息的具体方法,如对比分析、交叉分析、回归预测分析等方法。

程序员大佬带你玩转 Python数据分析指南

 

2.1 对比分析法

对比分析法是将两个或两个以上的数据进行比较,分析差异,揭示发展变化情况和规律。

  • 静态比较:时间一致的前提下选取不同指标,如部门、城市、门店等,也叫横向比较。
  • 动态比较:指标一致的前提下,针对不同时期的数据比较,也叫纵向比较。

举例:各车企销售表现

程序员大佬带你玩转 Python数据分析指南

 

2.2 分组分析法

  • 先经过数据加工,对数据进行数据分组,然后对分组的数据进行分析。
  • 分组的目的是为了便于对比,把总体中具有不同性质的对象区分开,把性质相同的对象合并在一起,保持各组内对象属性的一致性、组与组之间属性的差异性,以便进一步运用各种数据分析方法来解释内在的数量关系。

举例:新书在各销售渠道的销量

程序员大佬带你玩转 Python数据分析指南

 

2.3 结构分析法

  • 结构分析法又称比重分析法,是在分组分析法的基础上,计算总体内各组成部分占总体的比重,进而分析总体数据的内部特征。

举例:市场占有率是典型的结构分析。

程序员大佬带你玩转 Python数据分析指南

 

2.4 平均分析法(标准参数分析法)

  • 运用计算平均数的方法来反映总体在一定的时间、地点条件下某一数量特征的一般水平。
  • 平均指标可用于同一现象在不同地区、不同部门或单位间的对比,还可用于同一现象在不同时间的对比。

举例:季节性分析和价格分析时常会用到index指标

程序员大佬带你玩转 Python数据分析指南

 

2.5 交叉分析法

  • 通常用于分析两个变量之间的关系,即同时将两个有一定联系的变量及其值交叉排列在一张表格内,使各变量值成为不同变量的交叉节点,形成交叉表。

举例:常见的气泡图数据表格

程序员大佬带你玩转 Python数据分析指南

 

2.6 漏斗图分析法

  • 漏斗图可以很好的反映网站各步奏转化率,利用对比法对同一环节优化前后的效果进行对比分析来反映某个步奏转化率的好坏。

举例:商品流转率表现图

程序员大佬带你玩转 Python数据分析指南

 

三、 数据分析的图表展示

图表展示可以帮助我们更好、更直观地看懂数据信息。

图表的选择,不只是关注图表的样式,而关键在于关注数据情况及图表展示的功能。可以通过数据展示的功能(构成、比较、趋势、分布及联系)进行图表选择,如下所示:

程序员大佬带你玩转 Python数据分析指南

 

四、 项目实战 (python)

4.1 数据内容

数据来源于kesci天猫真实成交订单,主要是行为类数据。

a. 订单编号:订单编号

b. 总金额:订单总金额

c. 买家实际支付金额:总金额 - 退款金额(在已付款的情况下);未付款的支付金额为0

d. 收货地址:全国各个省份

e. 订单创建时间:下单时间

f. 订单付款时间:付款时间(如果未付款,显示NaN)

g. 退款金额:付款后申请退款的金额。未付款的退款金额为0

4.2 天猫订单分析过程

4.2.1 背景及分析目的

以天猫一个月内的订单数据,观察这个月的订单量以及销售额, 分析下单日期、收货地址等因素对订单量的影响以及订单转换情况,旨在提升用户下单量和订单转换率,进而提高用户实际支付额。

4.2.2 分析逻辑

本文结合订单流程以逻辑树方法分析订单数目的影响因素,从以下几个维度展开:

程序员大佬带你玩转 Python数据分析指南

 

4.2.3 数据读取及处理

前言

数据分析是通过明确分析目的,梳理并确定分析逻辑,针对性的收集、整理数据,并采用统计、挖掘技术分析,提取有用信息和展示结论的过程,是数据科学领域的核心技能。

程序员大佬带你玩转 Python数据分析指南

 

本文从数据分析常用逻辑框架及技术方法出发,结合python项目实战全面解读数据分析,可以系统掌握数据分析的框架套路,快速上手数据分析。

一、 数据分析的逻辑 --构建系统的分析维度及指标

程序员大佬带你玩转 Python数据分析指南

 

1.1 PEST分析法

PEST分析是指宏观环境的分析,宏观环境是指影响一切行业或企业的各种宏观力量。P是政治(Politics),E是经济(Economy),S是社会(Society),T是技术(Technology)。通常是战略咨询顾问用来帮助企业检阅其外部宏观环境的一种方法,以吉利收购沃尔沃为例:

程序员大佬带你玩转 Python数据分析指南

 

1.2 5W2H分析法

5W2H分析法又称七何分析法,包括:Why、What、Where、When、Who、How、How much 。主要用于用户行为分析、业务问题专题分析、营销活动等,是一个方便又实用的工具。

程序员大佬带你玩转 Python数据分析指南

 

1.3 逻辑树分析法

程序员大佬带你玩转 Python数据分析指南

 

逻辑树是分析问题最常用的工具之一,它是将问题的所有子问题分层罗列,从最高层开始,并逐步向下扩展。使用逻辑树分析的主要优点是保证解决问题的过程的完整性,且方便将工作细分为便于操作的任务,确定各部分的优先顺序,明确地把责任落实到个人。

程序员大佬带你玩转 Python数据分析指南

 

1.4 4P营销理论

4P即产品(Product)、价格(Price)、渠道(Place)、促销(Promotion),在营销领域,这种以市场为导向的营销组合理论,被企业应用最普遍。通过将四者的结合、协调发展,从而提高企业的市场份额,达到最终获利的目的。

4P营销理论适用于分析企业的经营状况,可视为企业内部环境,PEST分析的是企业在外部面对的环境。

程序员大佬带你玩转 Python数据分析指南

 

1.5 SCQA分析法

SCQA分析是一个“结构化表达”工具,即S(Situation)情景、C(Complication)冲突、Q(Question)疑问、A(Answer)回答。

程序员大佬带你玩转 Python数据分析指南

 

整个结构是通过描述当事者的现实状态,然后带出冲突和核心问题,通过结构化分析以提供更为明智的解决方案。以校园招聘SCQA分析为例:

程序员大佬带你玩转 Python数据分析指南

 

1.6 SMART分析法

SMART法是一种目标管理方法,即对目标的S(Specific)明确性,M(Measurable)可衡量性,A(Attainable)可实现性,R(Relevant)相关性,T(Time-based)时限性。

程序员大佬带你玩转 Python数据分析指南

 

1.7 SWOT分析法

SWOT分析法也叫态势分析法,S (Strengths)是优势、W (Weaknesses)是劣势,O (Opportunities)是机会、T (Threats)是威胁或风险。常用来确定企业自身的内部优势、劣势和外部的机会和威胁等,从而将公司的战略与公司内部与外部环境有机地结合起来。以HUAWEI 的SWOT分析为例:

程序员大佬带你玩转 Python数据分析指南

 

二、 数据分析的技术方法

数据分析的技术方法是指提取出关键指标信息的具体方法,如对比分析、交叉分析、回归预测分析等方法。

程序员大佬带你玩转 Python数据分析指南

 

2.1 对比分析法

对比分析法是将两个或两个以上的数据进行比较,分析差异,揭示发展变化情况和规律。

  • 静态比较:时间一致的前提下选取不同指标,如部门、城市、门店等,也叫横向比较。
  • 动态比较:指标一致的前提下,针对不同时期的数据比较,也叫纵向比较。

举例:各车企销售表现

程序员大佬带你玩转 Python数据分析指南

 

2.2 分组分析法

  • 先经过数据加工,对数据进行数据分组,然后对分组的数据进行分析。
  • 分组的目的是为了便于对比,把总体中具有不同性质的对象区分开,把性质相同的对象合并在一起,保持各组内对象属性的一致性、组与组之间属性的差异性,以便进一步运用各种数据分析方法来解释内在的数量关系。

举例:新书在各销售渠道的销量

程序员大佬带你玩转 Python数据分析指南

 

2.3 结构分析法

  • 结构分析法又称比重分析法,是在分组分析法的基础上,计算总体内各组成部分占总体的比重,进而分析总体数据的内部特征。

举例:市场占有率是典型的结构分析。

程序员大佬带你玩转 Python数据分析指南

 

2.4 平均分析法(标准参数分析法)

  • 运用计算平均数的方法来反映总体在一定的时间、地点条件下某一数量特征的一般水平。
  • 平均指标可用于同一现象在不同地区、不同部门或单位间的对比,还可用于同一现象在不同时间的对比。

举例:季节性分析和价格分析时常会用到index指标

程序员大佬带你玩转 Python数据分析指南

 

2.5 交叉分析法

  • 通常用于分析两个变量之间的关系,即同时将两个有一定联系的变量及其值交叉排列在一张表格内,使各变量值成为不同变量的交叉节点,形成交叉表。

举例:常见的气泡图数据表格

程序员大佬带你玩转 Python数据分析指南

 

2.6 漏斗图分析法

  • 漏斗图可以很好的反映网站各步奏转化率,利用对比法对同一环节优化前后的效果进行对比分析来反映某个步奏转化率的好坏。

举例:商品流转率表现图

程序员大佬带你玩转 Python数据分析指南

 

三、 数据分析的图表展示

图表展示可以帮助我们更好、更直观地看懂数据信息。

图表的选择,不只是关注图表的样式,而关键在于关注数据情况及图表展示的功能。可以通过数据展示的功能(构成、比较、趋势、分布及联系)进行图表选择,如下所示:

程序员大佬带你玩转 Python数据分析指南

 

四、 项目实战 (python)

4.1 数据内容

数据来源于kesci天猫真实成交订单,主要是行为类数据。

a. 订单编号:订单编号

b. 总金额:订单总金额

c. 买家实际支付金额:总金额 - 退款金额(在已付款的情况下);未付款的支付金额为0

d. 收货地址:全国各个省份

e. 订单创建时间:下单时间

f. 订单付款时间:付款时间(如果未付款,显示NaN)

g. 退款金额:付款后申请退款的金额。未付款的退款金额为0

4.2 天猫订单分析过程

4.2.1 背景及分析目的

以天猫一个月内的订单数据,观察这个月的订单量以及销售额, 分析下单日期、收货地址等因素对订单量的影响以及订单转换情况,旨在提升用户下单量和订单转换率,进而提高用户实际支付额。

4.2.2 分析逻辑

本文结合订单流程以逻辑树方法分析订单数目的影响因素,从以下几个维度展开:

程序员大佬带你玩转 Python数据分析指南

 

4.2.3 数据读取及处理

程序员大佬带你玩转 Python数据分析指南

 

 

程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 

4.2.4 总体运营指标分析

分析2月份成交订单数的变化趋势

程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 

小结 2 :地区对订单数量影响较大,一般较发达地区订单数较大,边远地区较小。这里可能需要具体分析每个地区的商品种类、消费群体以及优惠政策,快递等原因。可以根据原因进一步提高其他地区的订单数量和销售金额。

4.2.5 销售转化指标

订单数以及订单转化率的呈现

程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 


程序员大佬带你玩转 Python数据分析指南

 

小结 3:从单一转化率来看,支付订单数-到款订单数转换率为79%,后续可以从退款率着手分析退款原因,提高转换率。



Tags:Python数据分析   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Python是非常接近人类语言的一门计算机语言,简单易懂的语法,可以让我们更好的理解,还有强大的第三方库,程序编辑的效率也可以大幅度提高。 《关于全面开展中小学生人工智能教育...【详细内容】
2022-05-25  Tags: Python数据分析  点击:(52)  评论:(0)  加入收藏
大家好,我是老班~很多读者问过我,文章中的Python代码都是用的什么编辑器写的?今天就公开啦:Jupyter Notebook,没有Pycharm,没有Vscode,没有Sublime text。只有一款工具:Jupyter Note...【详细内容】
2022-04-12  Tags: Python数据分析  点击:(76)  评论:(0)  加入收藏
数据的爬取代码:import pandas as pddata=pd.read_csv("example_data.csv",header=1)print(data)data1=pd.read_csv("北京地区信息.csv",header=1,encoding='gbk')da...【详细内容】
2021-12-29  Tags: Python数据分析  点击:(136)  评论:(0)  加入收藏
前言数据分析是通过明确分析目的,梳理并确定分析逻辑,针对性的收集、整理数据,并采用统计、挖掘技术分析,提取有用信息和展示结论的过程,是数据科学领域的核心技能。本篇文章有点...【详细内容】
2021-04-01  Tags: Python数据分析  点击:(379)  评论:(0)  加入收藏
一、数据来源本节选用的是Python的第三方库seaborn自带的数据集,该小费数据集为餐饮行业收集的数据,其中total_bill为消费总金额、tip为小费金额、sex为顾客性别、smoker为顾...【详细内容】
2020-08-17  Tags: Python数据分析  点击:(92)  评论:(0)  加入收藏
一、数据可视化概述数据可视化是在整个数据分析非常重要的一个辅助工具,可以清晰的理解数据,从而调整我们的分析方法。- 能将数据进行可视化,更直观的呈现- 使数据更加客观、...【详细内容】
2020-08-11  Tags: Python数据分析  点击:(83)  评论:(0)  加入收藏
本文的主要学习目标: 熟练的掌握 numpy 数组相关的运算; 熟练的使用 numpy 创建矩阵; 理解矩阵转置和乘法; 熟练的计算数据的相关系数、方差、协方差、标准差; 理解并能够计算特...【详细内容】
2020-08-11  Tags: Python数据分析  点击:(97)  评论:(0)  加入收藏
数据清洗 (data cleaning) 是机器学习和深度学习进入算法步前的一项重要任务,我平时比较习惯使用的 7 个步骤,总结如下: Step1 : read csv Step2 : preview data Step3: check...【详细内容】
2020-08-07  Tags: Python数据分析  点击:(107)  评论:(0)  加入收藏
前言使用Python进行数据分析是一件专业领域的事情,所以要想强化数据分析的技能,需要大家不断练习。同时,我们也需要向有经验的数据分析师学习他们的专业技巧。这篇文章我们介绍...【详细内容】
2020-07-26  Tags: Python数据分析  点击:(66)  评论:(0)  加入收藏
数据分析肯定需要数据,这个数据一般都是来自实际学习工作业务中的,比如学校的学生成绩,淘宝京东的销售数据,视频网站不同种类的视频播放点击量等。自己练习的话,除了可以去一些公...【详细内容】
2020-07-13  Tags: Python数据分析  点击:(92)  评论:(0)  加入收藏
▌简易百科推荐
近几年 Web3 被炒得火热,但是大部分人可能还不清楚什么是 Web3,今天就让w3cschool编程狮小师妹带你了解下 Web3 是什么?与我们熟知的 Web1 和 Web2 又有什么区别呢?web3.0什么是...【详细内容】
2022-07-15  编程狮W3Cschool    Tags:Web3.0   点击:(2)  评论:(0)  加入收藏
1、让我们一起来看下吧,直接上图。 第一眼看到是不是觉得很高逼格,暗黑画风,这很大佬。其实它就是------AidLearning。一个运行在安卓平台的linux系统,而且还包含了许多非常强大...【详细内容】
2022-07-15  IT智能化专栏    Tags:AidLearning   点击:(2)  评论:(0)  加入收藏
真正的大师,永远都怀着一颗学徒的心! 一、项目简介 今天说的这个软件是一款基于Python+vue的自动化运维、完全开源的云管理平台。二、实现功能 基于RBAC权限系统 录像回放 ...【详细内容】
2022-07-14  菜鸟程序猿    Tags:Python   点击:(3)  评论:(0)  加入收藏
前言今天笔者想和大家来聊聊python接口自动化的MySQL数据连接,废话不多说咱们直接进入主题吧。 一、什么是 PyMySQL?PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,P...【详细内容】
2022-07-11  测试架构师百里    Tags:python   点击:(19)  评论:(0)  加入收藏
aiohttp什么是 aiohttp?一个异步的 HTTP 客户端\服务端框架,基于 asyncio 的异步模块。可用于实现异步爬虫,更快于 requests 的同步爬虫。安装pip install aiohttpaiohttp 和 r...【详细内容】
2022-07-11  VT漫步    Tags:aiohttp   点击:(15)  评论:(0)  加入收藏
今天我们学习下 Queue 的进阶用法。生产者消费者模型在并发编程中,比如爬虫,有的线程负责爬取数据,有的线程负责对爬取到的数据做处理(清洗、分类和入库)。假如他们是直接交互的,...【详细内容】
2022-07-06  VT漫步    Tags:Python Queue   点击:(34)  评论:(0)  加入收藏
继承:是面向对象编程最重要的特性之一,例如,我们每个人都从祖辈和父母那里继承了一些体貌特征,但每个人却又不同于父母,有自己独有的一些特性。在面向对象中被继承的类是父类或基...【详细内容】
2022-07-06  至尊小狸子    Tags:python   点击:(25)  评论:(0)  加入收藏
点击上方头像关注我,每周上午 09:00准时推送,每月不定期赠送技术书籍。本文1553字,阅读约需4分钟 Hi,大家好,我是CoCo。在上一篇Python自动化测试系列文章:Python自动化测试之P...【详细内容】
2022-07-05  CoCo的软件测试小栈    Tags:Python   点击:(27)  评论:(0)  加入收藏
第一种方式:res = requests.get(url, params=data, headers = headers)第二种方式:res = requests.get(url, data=data, headers = headers)注意:1.url格式入参只支持第一种方...【详细内容】
2022-07-05  独钓寒江雪之IT    Tags:Python request   点击:(19)  评论:(0)  加入收藏
什么是python类的多态python的多态,可以为不同的类实例,或者说不同的数据处理方式,提供统一的接口。用比喻的方式理解python类的多态比如,同一个苹果(统一的接口)在孩子的眼里(类实...【详细内容】
2022-07-04  写小说的程序员    Tags:python类   点击:(28)  评论:(0)  加入收藏
站内最新
站内热门
站内头条