离散程度
在统计学里,离散程度(英语:statistical dispersion,scatter,spread)或离散度,又称统计变异性(statistical variability)[1],简称 变异、变差(variation)、变率,是指一个分布或随机变量的拉伸或压缩程度[2]。习惯上,“离散”常用来描述数据分布[3],而“变异”(指:变异数、方差)更常用来描述随机变量的变异程度[4]。[需要解释]用以描述离散程度或变异的量主要有方差、标准差、变异系数和四分位距等。
离散程度与集中趋势相对,因此,离散度就是指各个变量值与集中趋势的偏离程度。
衡量
衡量离散程度的值,通常是非负实数:当衡量值取零时,表示分布集中在同一个值上;随着衡量值的增加,随机变量的取值越来越分散。
部分描述离散程度的量是带单位的,并且,这些量的单位与随机变量本身的单位相同。也就是说,如果随机变量的单位是米或秒,则这些量的单位也是米或秒。这些量举例如下:
标准差 四分位距 全距 平均绝对偏差(英语:Mean_absolute_difference) 绝对差中位数(英语:Median_absolute_deviation) 平均差 间隔关系(英语:Distance_correlation)此外,也有一些无量纲量:
变异系数 四分位离散系数(英语:Quartile_coefficient_of_dispersion) 基尼系数 熵另外,还有一些带单位的量,但是他们的单位和随机变量本身的单位不同:
方差 离散指数(英语:Index_of_dispersion)可解释性
变差的可解释性,通常是对于一个随机变量而言的。当观测到随机变量的一些取值(例如训练集中的标签可视作是一个随机变量的一些观测值),需要推断随机变量服从的分布时,就会遇到这个问题。一般而言,推断有限观测值的随机变量服从的分布的过程,即是建立模型的过程。
假设有随机变量 X {\displaystyle \mathbf {X} } 及其服从的真实分布 X ∼ D {\displaystyle \mathbf {X} \sim D} 。则对于该随机变量的观测值,可计算其变差(以方差表示) SS total := Var ( X ) {\displaystyle {\text{SS}}_{\text{total}}:={\text{Var}}(\mathbf {X} )} ;对于分布,亦可计算其变差 SS distribution := Var ( D ) {\displaystyle {\text{SS}}_{\text{distribution}}:={\text{Var}}(D)} 。则 SS distribution {\displaystyle {\text{SS}}_{\text{distribution}}} 是相对该随机变量的可解释变异(英语:explainable variation),其余的部分则是不可解释变异(英语:unexplainable variation)。为了衡量不可解释变异,可引入不可解释变异分数(英语:fraction of unexplainable variation) FUV := 1 − SS distribution SS total {\displaystyle {\text{FUV}}:=1-{\tfrac {{\text{SS}}_{\text{distribution}}}{{\text{SS}}_{\text{total}}}}} 。不可解释变异亦称为统计噪声。
假设 D ′ {\displaystyle D} 是模型给出的随机变量的分布。则对于该预测分布,我们可以计算器变异(以方差表示) SS model := Var ( D ′ ) {\displaystyle {\text{SS}}_{\text{model}}:={\text{Var}}(D)} 。则 SS model {\displaystyle {\text{SS}}_{\text{model}}} 是该模型相对该随机变量的已解释变异(英语:explained variation),其余部分则是未解释变异(英语:unexplained variation)。同样,为了衡量未解释变异,可引入未解释变异分数(英语:fraction of unexplained variation) FUV := 1 − SS model SS total {\displaystyle {\text{FUV}}:=1-{\tfrac {{\text{SS}}_{\text{model}}}{{\text{SS}}_{\text{total}}}}} 。