一 4.4.2分类模型评判指标

简介
混淆矩阵是ROC曲线绘制的基础，同时它也是衡量分类型模型准确度中最基本，最直观，计算最简单的方法。
一句话解释版本：
混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。
数据分析与挖掘体系位置
混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（）的优劣，适用于分类型的数据模型，如分类树（ Tree）、逻辑回归（）、线性判别分析（）等方法。
在分类型模型评判的指标中，常见的方法有如下三种：
混淆矩阵（也称误差矩阵，）ROC曲线AUC面积
本篇主要介绍第一种方法，即混淆矩阵，也称误差矩阵。
【一4.4.2分类模型评判指标】此方法在整个数据分析与挖掘体系中的位置如下图所示。

文章插图
混淆矩阵的定义
混淆矩阵（），它的本质远没有它的名字听上去那么拉风。矩阵，可以理解为就是一张表格，混淆矩阵其实就是一张表格而已。
以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1 ，或者说是还是。
我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是，哪些结果是。同时，我们通过用样本数据跑出分类型模型的结果，也可以知道模型认为这些数据哪些是，哪些是。
因此，我们就能得到这样四个基础指标，我称他们是一级指标（最底层的）：
将这四个指标一起呈现在表格中，就能得到如下这样一个矩阵，我们称它为混淆矩阵（）：
混淆矩阵的指标
预测性分类模型，肯定是希望越准越好。那么，对应到混淆矩阵中，那肯定是希望TP与TN的数量大，而FP与FN的数量小。所以当我们得到了模型的混淆矩阵后，就需要去看有多少观测值在第二、四象限对应的位置，这里的数值越多越好；反之，在第一、三象限对应位置出现的观测值肯定是越少越好。
二级指标
但是，混淆矩阵里面统计的是个数，有时候面对大量的数据，光凭算个数，很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标，我称他们是二级指标（通过最底层指标加减乘除得到的）：
我用表格的方式将这四种指标的定义、计算、理解进行了汇总：

文章插图
通过上面的四个二级指标，可以将混淆矩阵中数量的结果转化为0-1之间的比率。便于进行标准化的衡量。
在这四个指标的基础上在进行拓展，会产令另外一个三级指标
三级指标
这个指标叫做F1 Score 。他的计算公式是：

文章插图
其中， P代表， R代表。
F1-Score指标综合了与的产出的结果。F1-Score的取值范围从0到1的， 1代表模型的输出最好， 0代表模型的输出结果最差。