数据分析常用的4大分析方法

2024-05-10 02:27

1. 数据分析常用的4大分析方法

赵兴峰老师主讲数据分析师全体系育成课程,最常用的数据分析思路与方法:对比分析,对比分析案例、思路、方法、模型及对比分析三要素

数据分析常用的4大分析方法

2. 16种常用的数据分析方法汇总

一、描述统计
  
 描述性统计是指运用制表和分类,图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。
  
 1、缺失值填充:常用方法:剔除法、均值法、最小邻居法、比率回归法、决策树法。
  
 2、正态性检验:很多统计方法都要求数值服从或近似服从正态分布,所以之前需要进行正态性检验。常用方法:非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。
  
 二、假设检验
  
 1、参数检验
  
 参数检验是在已知总体分布的条件下(一股要求总体服从正态分布)对一些主要的参数(如均值、百分数、方差、相关系数等)进行的检验 。
  
 1)U验   使用条件:当样本含量n较大时,样本值符合正态分布
  
 2)T检验 使用条件:当样本含量n较小时,样本值符合正态分布
  
 A  单样本t检验:推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别;
  
 B  配对样本t检验:当总体均数未知时,且两个样本可以配对,同对中的两者在可能会影响处理效果的各种条件方面扱为相似;
  
 C 两独立样本t检验:无法找到在各方面极为相似的两样本作配对比较时使用。
  
 2、非参数检验
  
 非参数检验则不考虑总体分布是否已知,常常也不是针对总体参数,而是针对总体的某些一股性假设(如总体分布的位罝是否相同,总体分布是否正态)进行检验。
  
 适用情况:顺序类型的数据资料,这类数据的分布形态一般是未知的。
  
 A 虽然是连续数据,但总体分布形态未知或者非正态;
  
 B 体分布虽然正态,数据也是连续类型,但样本容量极小,如10以下;
  
 主要方法包括:卡方检验、秩和检验、二项检验、游程检验、K-量检验等。
  
 三、信度分析
  
 检査测量的可信度,例如调查问卷的真实性。
  
 分类:
  
 1、外在信度:不同时间测量时量表的一致性程度,常用方法重测信度
  
 2、内在信度;每个量表是否测量到单一的概念,同时组成两表的内在体项一致性如何,常用方法分半信度。
  
 四、列联表分析
  
 用于分析离散变量或定型变量之间是否存在相关。
  
 对于二维表,可进行卡方检验,对于三维表,可作Mentel-Hanszel分层分析。
  
 列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。
  
 五、相关分析
  
 研究现象之间是否存在某种依存关系,对具体有依存关系的现象探讨相关方向及相关程度。
  
 1、单相关: 两个因素之间的相关关系叫单相关,即研究时只涉及一个自变量和一个因变量;
  
 2、复相关 :三个或三个以上因素的相关关系叫复相关,即研究时涉及两个或两个以上的自变量和因变量相关;
  
 3、偏相关:在某一现象与多种现象相关的场合,当假定其他变量不变时,其中两个变量之间的相关关系称为偏相关。
  
 六、方差分析
  
 使用条件:各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。
  
 分类
  
 1、单因素方差分析:一项试验只有一个影响因素,或者存在多个影响因素时,只分析一个因素与响应变量的关系
  
 2、多因素有交互方差分析:一顼实验有多个影响因素,分析多个影响因素与响应变量的关系,同时考虑多个影响因素之间的关系
  
 3、多因素无交互方差分析:分析多个影响因素与响应变量的关系,但是影响因素之间没有影响关系或忽略影响关系
  
 4、协方差分祈:传统的方差分析存在明显的弊端,无法控制分析中存在的某些随机因素,使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析,是将线性回归与方差分析结合起来的一种分析方法,
  
 七、回归分析
  
 分类:
  
 1、一元线性回归分析:只有一个自变量X与因变量Y有关,X与Y都必须是连续型变量,因变量y或其残差必须服从正态分布。
  
 2、多元线性回归分析
  
 使用条件:分析多个自变量与因变量Y的关系,X与Y都必须是连续型变量,因变量y或其残差必须服从正态分布 。
  
 1)变呈筛选方式:选择最优回归方程的变里筛选法包括全横型法(CP法)、逐步回归法,向前引入法和向后剔除法
  
 2)横型诊断方法:
  
 A 残差检验: 观测值与估计值的差值要艰从正态分布
  
 B 强影响点判断:寻找方式一般分为标准误差法、Mahalanobis距离法
  
 C 共线性诊断:
  
 诊断方式:容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判定法、条件指针CI、方差比例
  
 处理方法:增加样本容量或选取另外的回归如主成分回归、岭回归等
  
 3、Logistic回归分析
  
 线性回归模型要求因变量是连续的正态分布变里,且自变量和因变量呈线性关系,而Logistic回归模型对因变量的分布没有要求,一般用于因变量是离散时的情况
  
 分类:
  
 Logistic回归模型有条件与非条件之分,条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。
  
 4、其他回归方法 非线性回归、有序回归、Probit回归、加权回归等
  
 八、聚类分析
  
 样本个体或指标变量按其具有的特性进行分类,寻找合理的度量事物相似性的统计量。
  
 1、性质分类:
  
 Q型聚类分析:对样本进行分类处理,又称样本聚类分祈 使用距离系数作为统计量衡量相似度,如欧式距离、极端距离、绝对距离等
  
 R型聚类分析:对指标进行分类处理,又称指标聚类分析 使用相似系数作为统计量衡量相似度,相关系数、列联系数等
  
 2、方法分类:
  
 1)系统聚类法: 适用于小样本的样本聚类或指标聚类,一般用系统聚类法来聚类指标,又称分层聚类
  
 2)逐步聚类法 :适用于大样本的样本聚类
  
 3)其他聚类法 :两步聚类、K均值聚类等
  
 九、判别分析
  
 1、判别分析:根据已掌握的一批分类明确的样品建立判别函数,使产生错判的事例最少,进而对给定的一个新样品,判断它来自哪个总体
  
 2、与聚类分析区别
  
 1)聚类分析可以对样本逬行分类,也可以对指标进行分类;而判别分析只能对样本
  
 2)聚类分析事先不知道事物的类别,也不知道分几类;而判别分析必须事先知道事物的类别,也知道分几类
  
 3)聚类分析不需要分类的历史资料,而直接对样本进行分类;而判别分析需要分类历史资料去建立判别函数,然后才能对样本进行分类
  
 3、进行分类 :
  
 1)Fisher判别分析法 :
  
 以距离为判别准则来分类,即样本与哪个类的距离最短就分到哪一类, 适用于两类判别;
  
 以概率为判别准则来分类,即样本属于哪一类的概率最大就分到哪一类,适用于
  
 适用于多类判别。
  
 2)BAYES判别分析法 :
  
 BAYES判别分析法比FISHER判别分析法更加完善和先进,它不仅能解决多类判别分析,而且分析时考虑了数据的分布状态,所以一般较多使用;
  
 十、主成分分析
  
 将彼此梠关的一组指标变适转化为彼此独立的一组新的指标变量,并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息 。
  
 十一、因子分析
  
 一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法
  
 与主成分分析比较:
  
 相同:都能够起到済理多个原始变量内在结构关系的作用
  
 不同:主成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间的关系,是比主成分分析更深入的一种多元统计方法
  
 用途:
  
 1)减少分析变量个数
  
 2)通过对变量间相关关系探测,将原始变量进行分类
  
 十二、时间序列分析
  
 动态数据处理的统计方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题;时间序列通常由4种要素组成:趋势、季节变动、循环波动和不规则波动。
  
 主要方法:移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型
  
 十三、生存分析
  
 用来研究生存时间的分布规律以及生存时间和相关因索之间关系的一种统计分析方法
  
 1、包含内容:
  
 1)描述生存过程,即研究生存时间的分布规律
  
 2)比较生存过程,即研究两组或多组生存时间的分布规律,并进行比较
  
 3)分析危险因素,即研究危险因素对生存过程的影响
  
 4)建立数学模型,即将生存时间与相关危险因素的依存关系用一个数学式子表示出来。
  
 2、方法:
  
 1)统计描述:包括求生存时间的分位数、中数生存期、平均数、生存函数的估计、判断生存时间的图示法,不对所分析的数据作出任何统计推断结论
  
 2)非参数检验:检验分组变量各水平所对应的生存曲线是否一致,对生存时间的分布没有要求,并且检验危险因素对生存时间的影响。
  
 A 乘积极限法(PL法)
  
 B 寿命表法(LT法)
  
 3)半参数横型回归分析:在特定的假设之下,建立生存时间随多个危险因素变化的回归方程,这种方法的代表是Cox比例风险回归分析法
  
 4)参数模型回归分析:已知生存时间服从特定的参数横型时,拟合相应的参数模型,更准确地分析确定变量之间的变化规律
  
 十四、典型相关分析
  
 相关分析一般分析两个变里之间的关系,而典型相关分析是分析两组变里(如3个学术能力指标与5个在校成绩表现指标)之间相关性的一种统计分析方法。
  
 典型相关分析的基本思想和主成分分析的基本思想相似,它将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究,并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。
  
 十五、R0C分析
  
 R0C曲线是根据一系列不同的二分类方式(分界值或决定阈).以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线
  
 用途:
  
 1、R0C曲线能很容易地査出任意界限值时的对疾病的识别能力
  
 用途
  
 2、选择最佳的诊断界限值。R0C曲线越靠近左上角,试验的准确性就越高;
  
 3、两种或两种以上不同诊断试验对疾病识别能力的比较,一股用R0C曲线下面积反映诊断系统的准确性。
  
 十六、其他分析方法
  
 多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。

3. 数据分析师最常用的3大数据分析法

对比分析
首先是绝对值和相对值的对比,主要是它反映的是一个某段时间状态,他可以反应一段时间内工作的成果。那么要衡量这个成果的具体大小,就需要借助环比和同比分析,通过同比和环比的分析,可以了解同期活动效果之间的差异,也可以了解上一个时期与这个时期的差别。
其次还可以通过横向对比和纵向对比来分析,横向对比的一个例子是在空间维度,即同种类型的不同对象,比如电商当中,我们经常把客户分为新客和老客,不同客户之间可能会有相同的指标,例如营业额、客单价等等。还有可能是不同时期、不同渠道之间的份额差异,通过这些,可以分析渠道之间的变化趋势。
细分分析
细分分当中的第一点是分类分析,本质上还是化整为零,通过拆解不同的模块进行单独的分析,比如说我们可以划分产品的类目、价格带、折扣带、年份等等,经过这样划分之后,什么时候需要主打什么样的产品,就会又一个清晰的概念。
人-货-场分析主要用于竞品分析或者是竞店分析,从客户、商品、场景三个维度出发,分析自己的客户和竞品的客户之间到底有什么差别,找到差异点之后才能对竞品进行精准打击,把对方的客户转化为自己的客户。
转化分析
转化分析的最常用的工具是漏斗模型,就是客户从浏览、收藏、加购、支付、复购等等一系列的操作转化,任何一个阶段转化率的变化就会引起结果的很大变化,而建立转化路径分析之后,就会很方便从结果推倒原因,从而进行针对性的优化。
关于数据分析师最常用的3大数据分析法,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

数据分析师最常用的3大数据分析法

4. 数据分析的6种常用方法

常见的6种数据分析的方法有: 直接判断法、对比分析法、结构分析法、平均分析法、漏斗分析法、因果分析法 
  
 
  
  
 无需经过任何的数据对比,根据经验直接进行判断。
  
 这种方法对人的要求极高,要求个人对于数据和市场的理解都极其透彻,没有深度沉淀较长时间是做不到的,否则就成了武断。
                                          
 把数据与过去N次进行对比,常见的对比类型有:竞争对手对比、时间同比与环比、类比对比、转化对比、特征和属性对比、前后变化对比的等等。
  
 对比分析法在分析中使用频率是最高的,因为很多数据只有在对比中才能得出好坏、析出问题。
                                          
  常见分析术语: 
  
  达成: 本月实际完成销售额与目标业绩的对比。达成是用于获取当前业绩的完成进度,评估业绩完成进度是否合理。业绩达成了,原因是什么?因为什么地方足够好?业绩不达成,原因又是什么?什么地方出现问题?
  
  同比: 本月实际完成业绩与去年同月时期的对比。同比是用于看当前业绩和去年同期业绩相比有没有增长。这是做增长的运营者关注的重要指标。同比上升了,要看上升幅度有没有符合预期,同比下降了,要重点看下降的原因。
  
  环比: 本月实际完成的业绩与上月实际完成业绩的对比。环比是用于看企业业绩前后变化,如试行新的运营策略一个月后与前一个月进行对比,看运营策略是否有效,但是这需要排除其他导致数据异常的原因。
  
  差异: 自身完成业绩与竞争对手完成业绩的对比。差异是用于寻找企业与同行的产品不同之处,有时是为了避开直接竞争,有时候是为了学习同行优秀之处。
  
  注: 对比分析法要注意控制变量,尽可能保持单一变量的对比,其他条件需要保持一致,这样的数据对比才有意义。
  
 
  
  
 组内数据与总体数据之间进行对比。
  
 常见如电商流量结构,自然搜索流量占总体的比例,付费流量占总体的比例,个性化推荐占总体的比例等等。
                                          
 
  
  
 设置一个平均线,分析数据高于或者低于平均值的原因。
                                          
 
  
  
 观察流程中每一步的转化和流失。常见如电商转化漏斗:展现——点击——访问——咨询——下单——支付等,每一步都设置数据埋点,观察用户行为数据,对跳失较高的步骤进行优化,提升产品功能、促销策略、服务体验等。
                                          
 
  
  
 用枝状结构画出因果关系的图表,把影响因素一一列出,形成因果对应,有利于制定合理的方案。

5. 最常用的四种大数据分析方法

本文主要讲述数据挖掘分析领域中,最常用的四种数据分析方法:描述型分析、诊断型分析、预测型分析和指令型分析。
当刚涉足数据挖掘分析领域的分析师被问及,数据挖掘分析人员最重要的能力是什么时,他们给出了五花八门的答案。
其实我想告诉他们的是,数据挖掘分析领域最重要的能力是:能够将数据转化为非专业人士也能够清楚理解的有意义的见解。
使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性,是十分有必要的。其中的一个工具,叫做四维分析法。
简单地来说,分析可被划分为4种关键方法。
下面会详细介绍这四种方法。
1. 描述型分析:发生了什么?

这是最常见的分析方法。在业务中,这种方法向数据分析师提供了重要指标和业务的衡量方法。
例如,每月的营收和损失账单。数据分析师可以通过这些账单,获取大量的客户数据。了解客户的地理信息,就是“描述型分析”方法之一。利用可视化工具,能够有效的增强描述型分析所提供的信息。
2. 诊断型分析:为什么会发生?

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心。
良好设计的BI dashboard能够整合:按照时间序列进行数据读入、特征过滤和钻取数据等功能,以便更好的分析数据。
3. 预测型分析:可能发生什么?

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值,或者是预估事情发生的时间点,这些都可以通过预测模型来完成。
预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。
在充满不确定性的环境下,预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。
4. 指令型分析:需要做什么?

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施。通常情况下,指令型分析不是单独使用的方法,而是前面的所有方法都完成之后,最后需要完成的分析方法。
例如,交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素,来帮助选择最好的回家路线。
结论
最后需要说明,每一种分析方法都对业务分析具有很大的帮助,同时也应用在数据分析的各个方面。
End.

最常用的四种大数据分析方法

6. 常用数据分析方法有那些


7. 九大常用数据分析方法 带大家了解一下这些干货吧

1、直接评判法
 
 直接评判法即根据经验直接判断数据的好坏并给予评判,通常用于内部过往运营状况评估,如评估近期阅读量是否过低,评判近期销售量是否异常,评估当日文章推送量是否正常。
 
 直接评判法有两个必要的条件:一是运营者有一定的新媒体运营经验,能够对跳出率,阅读量等有正确的评估;二是经过加工处理的数据足够直观,可以直接代表某项数据的优缺点。
 
 2、对比分析法
 
 对比分析法,是将两个或两个以上的数据进行对比,分析差异进而揭示这些数据所代表的规律。
 
 对比分析法包括横向比较及纵向比较。横向比较即同一时间下不同总体指标的对比,如今日头条同领域作者文章阅读量对比,粉丝数对比等;纵向比较不同时间条件下同一总体指标的对比,如本月文章阅读量与上月阅读量进行对比,本月粉丝增长数与上月增长数进行对比等。
 
 通过对比分析,可以直接观察到目前的运营水平,一方面找到当前已经处于优秀水平的方面,后续予以保持;另一方面及时发现当前的薄弱环节,重点突破。
 
 3、分组分析法
 
 分组分析法是指通过一定的指标,将对象统计分组并计算和分析,以便于深入了解所要分析对象的不同特征,性质及相互关系的方法。
 
 分组分析法遵循相互独立,完全穷尽的枚举分析法原则。所谓相互独立,即分组之间不能有交叉,组别之间具有明显的差异性,每个数据只能归属于某一组;所谓完全穷尽,即分组中不要遗漏任何数据,保持完整性,各组的空间足以容纳总体的所有数据。
 
 4、结构分析法
 
 结构分析法是在统计分组的基础上,将组内数据与总体数据之间进行对比的分析方法。结构分析法分析各组部分占总体的比例,属于相对指标。
 
 例如,新媒体运营团队可以统计粉丝所在的地域分布,统计出各个地方粉丝的占比情况,此情景便属于结构分析法。
 
 5、平均分析法
 
 例如,在分析今日头条的文章阅读量时,借助Excel导出的数据可以快速找到阅读量大于平均值的文章,接下来可以继续挖掘这些文章的标题,排版,配图等规律,便于后续内容质量的提升。
 
 6、矩阵分析法
 
 矩阵分析法是一种定量分析问题的方法,它是指以数据两个重要指标作为分析依据,并将这两个指标作为横,纵坐标轴,构成四个象限,从而找出解决问题的办法,为运营者提供数据参考。
 
 例如,某餐饮企业的大众点评评价分析,可以借助四个象限“紧急且重要,重要但不紧急,紧急但不重要,不紧急也不重要”进行矩阵分析,并重点处理“紧急且重要”的事项。
 
 7、漏斗图分析法
 
 漏斗图分析法因展现形式如漏斗,故而得名。漏斗图可以对文章阅读量,产品购买量等情况进行逐层分析,展示整个关键路径中每步的转化情况。
 
 重要强调的是,单一的漏斗图难以衡量各个环节的好坏,运营者可以结合本节介绍的“对比分析法”,对同一环节不同时间对比,评估运营效果。
 
 8、雷达图分析法
 
 雷达图常用于指数分析,即通过对新媒体账号的内容质量,领域专注等不同维度的计算而得出的客观评分结果。分数越高,代表账号的质量越好。可以利用雷达图进行分析的指数,包括今日头条指数,大鱼号星级指数,百家号指数等。
 
 9、回归分析法
 
 回归分析法是通过研究事物发展变化的因果关系来预测事物发展走向,它是研究变量间相互关系的一种定量预测方法,又称回归模型预测法或因果法。
 
 例如,将今日头条粉丝数据导出到Excel表格,对累计粉丝数进行一元线性分析,就可以尝试预测某个时间的粉丝量。

九大常用数据分析方法 带大家了解一下这些干货吧

8. 数据分析方法五种的介绍

《数据分析方法五种》是2011年格致出版社出版的图书,作者是尤恩·苏尔李。该书从基平设计的分析入手,介绍了分析复杂调查数据的传统方法,阐述了如何处理社会科学研究中的缺失数据。同时对跨学科的社会网络分析法进行了说明,并详细介绍了因子分析法。最后,从基于模型的角度,以举例的形式详细解释了基于行动者的模型的基本原理,讨论了相关软件的使用,填补了该领域的空白。