《图解机器学习》第三章
本章有点难啃，全是数学知识。
机器学习借助统计学作出预测，并对预测量化出可信程度。所以需要研究统计学这个工具。
比如，基于记录的数据，使用统计学工具就可以预测新药可以治愈哪些人，哪些人无效，并得到该预测的可信程度。这些信息帮助我们决定如何对病人进行治疗。
一、直方图
最简单的统计学方法就是直方图，这个简单易懂，一般用作数据的直观呈现（做ppt常用）。
直方图的数据足够多的时候，也可以显示出每个区间的概率。
二、正态分布图
直方图的不同区间不够平滑，归纳的作用有限。在计算概率的纯数学和编程运算中，用正态分布图代替直方图更方便。简单理解的话，可以认为是把直方图的每个高点用平滑的曲线连接起来。
举例，常见的正态分布图，成年人身高正态分布图。其中平均身高的人最多，太高和太矮的都相对较少。整体形态就会呈现出中间高，左右两边低的沙丘形状。而一个地区大部分人都身高都接近均值，很少有特别高特别矮的话，那么整个图就呈现非常比较陡峭的沙丘，而在数学上它的标准差也比较小。反之，另一个地区大部分人高的比例稍微比前一个地区的比例多，矮的也多，整个图就呈现比较平缓的沙丘，在数学上它的标准差比较大。
正态分布图的幅度由标准差决定的。标准差的数学计算是，每个数据点距离均值的距离的平方之后求和，然后除以数据的的数量，然后再做一次平方根。通过标准差可以呈现出这批数据距离均值的波动大小。
说句题外话，婴儿刚出生时整个正态分布图比较陡峭，成人之后反而平缓。那就是说刚出生时人的身高差距很小，成年后差距拉大。
连续概率分布除了上面的正态分布，还有指数分布和均匀分布。
三、残差平方和、均方差、R2
如何检测模型是否有用，前面章节讲过使用模型观测值（真实数据）和预测值（预测数据）的差大小作为标准，观测值和预测值的差命名为残差，残差越小说明预测越准确。所有数据点的残差先做平方然后求和就得到残差平方和（SSR）。这个指标经常被使用。
残差平方和（SSR）再除以数据点的数量，就得到均方差（MSE）。这个指标可以排除数据量这个变量的影响（毕竟数据量量越多，它的和越大）。
但是，均方差（MSE）也有缺陷，它受使用的计量单位影响，身高使用米和厘米表示均方差（MSE）就会差距很大。为了更统一的衡量预测的准确性，又引入了R方的概念（其实就是先求差然后分子和分母相除，从而消除单位所造成变量的影响）。R方的计算方式如下：
（1）、先以y值的均值的水平线建模，并计算其残差平方和（SSR）或者均方差（MSE），这一步算出来平均身高的SSR或者MSE。
（2）、在计算预测模型拟合线的残差平方和（SSR）或者均方差（MSE）。
（3）、（SSR(均值)-SSR（拟合线））/ SSR（均值）
R2表示使用模型预测相对于简单均值预测，改进的百分比。最大等于1（说明预测性能最好），最小为0（说明预测效果还不如直接使用简单的均值计算，预测效果很拉垮）。
但是，R2也有缺陷。如果只有2个点，那么R2必然等于1，所以需要一定数量的样本才更能衡量性能。
四、p值
为了量化分析结果的可信程度，一个解决方案是引入p值。
举例，只有两个人做药物实验，药物a组的一个人服用药物a康复了，药物b组的一个人服用安慰剂药物b没康复。看似是双盲实验，但是，如果是恰合a组的人本来就要康复，只是巧合分到a组然后康复了，或者这个病本来就有50%的康复率，等各种随机原因导致的康复，压根和药物无关呢。所以，这里需要引入计算本次量化分析结果的可信度p值。
p值的意思是指——假设药物a和安慰剂药物b效果等同（新药根本无效），然后出现当前结果的概率是多大。
比如，假设药物a和安慰剂药物b效果等同，2个人无论分到哪组，康复概率都是0.5。因此“A康复、B不康复”的概率是0.5×0.5=0.25。双侧p值再加上对称结果“A不康复、B康复”的0.25，得到0.5。所以，双侧p值等于0.5，说明这个实验结果没有可信度。
药物实验需要更大的样本数，并且需要治愈比例很高，常见的p值小于0.05才认定实验结果有效。如果得到很小的p值，但是药物还是没效果，一般称为“假阳性”。
之所以把0.05作为常见阀值的原因是，试图把假阳性的数量减少在5%以下的成本高于其价值本身。