利用函数计算,基本绘图函数、透视分析等基础方法 数据挖掘的分析基础

一、数据的描述分析 1.基本统计量
提供了很多对数据进行分析的函数,描述统计量函数()可对数据做一基本描述,默认是分析计量数据的基本统计量 。
对变量进行基本统计分析的函数:
计数数据用途
()
一维频数表
()
二维列联表
()
多维透视表
mean()
均值
()
中位数
()
分位数
std()
标准差
1.1计数数据的汇总分析
统计学中把取值返回是有限个值或一个数列的变量成为离散变量,其中表示分类情况的数据又称为计数数据 。
频数:绝对数
中的.value.()函数可对计数数据计算频数 。
这是性别变量的频数分析,说明在52名学生中有男生27人,女生25人 。
频率:相对数
这是性别的频率分析,说明在52名学生中男生占51.92%、女生占48.08% 。
1.2计量数据的汇总分析
对于数值型数据,经常要分析它的集中趋势和离散程度 。用来描述集中趋势的统计量主要有均值、中位数;描述离散程度的统计量主要有方差、标准差 。中只需要一个函数就可以简单地得到这些结果 。
计算均值、中位数、方差、表混插的函数分别是mean()、()、var()、std() 。
1.2.1均数(算术平均数)
均数指一组数据的和初一这组数据的个数所得到的商,它反映了一组数据的总体水平 。对于正态分布数据,通常计算其均数,来表示其集中趋势或平均水平 。
1.2.2中位数
中位数是将一组数据按大小顺序排列,处于中间位置的一个数据(或中间两个数据的平均值)它反映了一组数据的集中趋势 。对非正态分布数据,通常计算其红煨熟来表示其平均水平 。
1.2.3极差
极差是一组数据中最大数据与最小数据的差,在统计中常用极差来刻画一组数据的离散程度,它反映的是变量分布的变异范围和离散程度,在总体中任何两个单位的数值之差都不能超过极差 。
1.2.4方差
方差是个数据与平均数据的平方的均数,它表示数据离散程度和数据的波动大小 。
1.2.5标准差
标准差是方差的算术平方根,作用等同于方差,但单位与源数据单位是一致的 。对正态分布数据,通常计算其标准差来反映其变异水平 。。
方差或标准差,是表示一组数据的波动性的指标,因此,通过方差或标准差可以判断一组数据的稳定性;方差或标准差越大,数据越不稳定;方差或标准差越小 。数据越稳定 。
1.2.6四分位数间距(IQR)
对非正态分布数据,通常计算其四分位数间距来反映其变异水平:IQR=Q3-Q1,其中,Q3和Q1分别为数据的第3分位数和第1分位数(或称75%和25%分位数) 。提供了函数(),可对计量数据计算分位数 。
1.2.7偏度(skew)
偏度是描述数据分布偏斜方向和程度的度量,是统计数据分布非对称程度的数字特征 。偏度亦称偏态、偏态系数,是表征概率分布密度曲线相对于均值不对称程度的特征数或特征量 。主管看来就是密度函数曲线尾部的相对长度 。
1.2.8峰度(kurt)
峰度与偏度类似,是描述总体中所有取值分布形态陡缓程度的统计量 。
1.2.9自编计算基本统计量函数
def stats(x):stat=[x.count(),x.min(),x.quantile(0.25),x.mean(),x.median(),x.quantile(0.75),x.max(),x.max()-x.min(),x.var(),x.std(),x.skew(),x.kurt()]stat=pd.Series(stat,index=['Count','Min','Q1(25%)','Mean','Median','Q3(75%)','Max','Range','Var','Std','Skew','Kurt'])x.plot(kind='kde')#拟合核密度kde 曲线return(stat)stats(data.身高)