方差

方差

方差

本条目存在以下问题,请协助改善本条目或在讨论页针对议题发表看法。
此条目需要扩充。 (2015年12月9日)请协助改善这篇条目,更进一步的信息可能会在讨论页或扩充请求中找到。请在扩充条目后将此模板移除。此条目需要补充更多来源。 (2015年12月9日)请协助补充多方面可靠来源以改善这篇条目

,无法查证的内容可能会因为异议提出而移除。

致使用者:请搜索一下条目的标题(来源搜索:“方差”网页新闻书籍学术图像),以检查网络上是否存在该主题的更多可靠来源(判定指引)。
25px-Disambig_gray.svg_此条目的主题是方差,又称变异数、变方。关于变异系数(coefficient of variation),请见“变异系数”。

概率论统计学中,方差(英语:variance)又称变异数、变方,描述的是一个随机变量的离散程度,即一组数字与其平均值之间的距离的度量,是随机变量与其总体均值或样本均值的离差的平方的期望值。方差在统计中有非常核心的地位,其应用领域包括描述统计学推论统计学、假设检验、度量拟合优度英语goodness of fit,以及蒙特卡洛采样。由于科学分析经常涉及统计,方差也是重要的科研工具。方差是标准差的平方、分布的二阶矩,以及随机变量与其自身的协方差,其常用的符号表示有 σ 2 {\displaystyle \sigma ^{2}} 53a5c55e536acf250c1d3e0f754be5692b843ef5.svg_ s 2 {\displaystyle s^{2}} 58d7841cee3671436949ee789b84a848fd150bd3.svg_ Var ⁡ ( X ) {\displaystyle \operatorname {Var} (X)} 3831b31094283191b52da8ac97d77b8cca27ae54.svg_ V ( X ) {\displaystyle V(X)} 87916cb7c6ff96b31f09ae92a1525573b3c606d9.svg_,以及 V ( X ) {\displaystyle \mathbb {V} (X)} 7d9f217eb55f3da6570449ac874541613e264a32.svg_[1]

“Variance”的各地常用别名中国大陆方差 台湾变异数 港澳方差 日本、韩国分散越南分散(phương sai
400px-Comparison_standard_deviations.svg_
两个来自不同总体的样本的案例,均值相同但方差不同。两者总体均值都是100,红色总体的方差为100(标准差SD=10),而蓝色总体的方差为2500(SD=50)。

方差作为离散度量的优点是,它比其他离散度量(如平均差)更易于代数运算;例如,一组不相关的随机变量和的方差等于它们方差的和。在实际应用中,方差的一个缺点是它与随机变量的单位不同,而标准差则单位相同,这就是计算完成后通常采用标准差来衡量离散程度的原因。

有两个不同的概念都被称为“方差”。一种如上所述,是理论概率分布的方差。而另一种方差是一组观测值的特征。观测值通常是从真实世界的系统中测量的。如果给出系统的所有可能的观测,则它们算出的方差称为总体方差;然而,一般情况下我们只使用总体的一个子集(样本),由此计算出的方差称为样本方差。用样本计算出的方差可认为是对整个总体的方差的估计量。

方差的正平方根称为该随机变量的标准差;方差除以期望值归一化的值叫分散指数;标准差除以平均值归一化的值叫变异系数。

定义

X为服从分布F随机变量,如果E[X]是随机变量X期望值(均值μ=E[X]),则随机变量X或者分布F的方差为X的离差平方的期望值:

Var ⁡ ( X ) = E ⁡ [ ( X − μ ) 2 ] {\displaystyle \operatorname {Var} (X)=\operatorname {E} \left[(X-\mu )^{2}\right]} 06e01a0d2205e0db3118b14c3f6f06cfc5addc52.svg_

这个定义涵盖了连续、离散,或两者皆非的随机变量。方差亦可视作随机变量与自身的协方差

Var ⁡ ( X ) = Cov ⁡ ( X , X ) {\displaystyle \operatorname {Var} (X)=\operatorname {Cov} (X,X)} 922856b96a7eeb183632901851974b84d3053586.svg_

方差也等价于生成X的概率分布的二阶累积量。方差的常用的表达有 Var ⁡ ( X ) {\displaystyle \operatorname {Var} (X)} ,有时作 V ( X ) {\displaystyle V(X)} 87916cb7c6ff96b31f09ae92a1525573b3c606d9.svg_ V ( X ) {\displaystyle \mathbb {V} (X)} 7d9f217eb55f3da6570449ac874541613e264a32.svg_,也可写作符号 σ X 2 {\displaystyle \sigma _{X}^{2}} 3dc251c95dd253ad7b843b78551904bcc902a4a0.svg_ σ 2 {\displaystyle \sigma ^{2}} 53a5c55e536acf250c1d3e0f754be5692b843ef5.svg_(读作“sigma方”)。方差的表达式可展开如下:

Var ⁡ ( X ) = E ⁡ [ ( X − E ⁡ [ X ] ) 2 ] = E ⁡ [ X 2 − 2 X E ⁡ [ X ] + E ⁡ [ X ] 2 ] = E ⁡ [ X 2 ] − 2 E ⁡ [ X ] E ⁡ [ X ] + E ⁡ [ X ] 2 = E ⁡ [ X 2 ] − E ⁡ [ X ] 2 {\displaystyle {\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left[(X-\operatorname {E} [X])^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}-2X\operatorname {E} [X]+\operatorname {E} [X]^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}\right]-2\operatorname {E} [X]\operatorname {E} [X]+\operatorname {E} [X]^{2}\\[4pt]&=\operatorname {E} \left[X^{2}\right]-\operatorname {E} [X]^{2}\end{aligned}}} 4ad35c4161b9cf52868e879d457d8d796094ff02.svg_

也就是说,X的方差等于X平方的均值减去X均值的平方。该等式不应该用于浮点运算,因为如果等式的两个成分大小相似,将会造成灾难性抵消

离散随机变量

如果随机变量X是具有概率质量函数的离散随机分布x1 ↦ p1, …, xn ↦ pn,则:

Var ⁡ ( X ) = ∑ i = 1 n p i ⋅ ( x i − μ ) 2 = ∑ i = 1 n ( p i ⋅ x i 2 ) − μ 2 {\displaystyle \operatorname {Var} (X)=\sum _{i=1}^{n}p_{i}\cdot (x_{i}-\mu )^{2}=\sum _{i=1}^{n}(p_{i}\cdot x_{i}^{2})-\mu ^{2}} 90257546854b44062850cde16b4c216ab9ab9cbc.svg_

此处 μ {\displaystyle \mu } 是其期望值,即:

μ = ∑ i = 1 n p i ⋅ x i {\displaystyle \mu =\sum _{i=1}^{n}p_{i}\cdot x_{i}} 80703fb8ffde44ac33c9d4d217cfcae4637a31f1.svg_

X为有n个相等概率值的平均分布:

Var ⁡ ( X ) = σ 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 = 1 n ( ∑ i = 1 n x i 2 − n μ 2 ) = ∑ i = 1 n x i 2 n − μ 2 {\displaystyle \operatorname {Var} (X)=\sigma ^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}={\frac {1}{n}}\left(\sum _{i=1}^{n}x_{i}^{2}-n\mu ^{2}\right)={\frac {\sum _{i=1}^{n}x_{i}^{2}}{n}}-\mu ^{2}} ff6cc39564f0ba971cf1ef25e6539c5bae7a4949.svg_

n个相等概率值的方差亦可以点对点间的方变量表示为:

Var ⁡ ( X ) = 1 n 2 ∑ i = 1 n ∑ j = 1 n 1 2 ( x i − x j ) 2 {\displaystyle \operatorname {Var} (X)={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}{\frac {1}{2}}(x_{i}-x_{j})^{2}} 057ba69a7e626cb762ad68e9d0f3ae088afbaac2.svg_

连续型随机变量

如果随机变量X是连续分布,概率密度函数f(x),相应的累积分布函数F(x),则其方差为:

Var ⁡ ( X ) = σ 2 = ∫ R ( x − μ ) 2 f ( x ) d x = ∫ R x 2 f ( x ) d x − 2 μ ∫ R x f ( x ) d x + μ 2 ∫ R f ( x ) d x = ∫ R x 2 d F ( x ) − 2 μ ∫ R x d F ( x ) + μ 2 ∫ R d F ( x ) = ∫ R x 2 d F ( x ) − 2 μ ⋅ μ + μ 2 ⋅ 1 = ∫ R x 2 d F ( x ) − μ 2 , {\displaystyle {\begin{aligned}\operatorname {Var} (X)=\sigma ^{2}&=\int _{\mathbb {R} }(x-\mu )^{2}f(x)\,dx\\[4pt]&=\int _{\mathbb {R} }x^{2}f(x)\,dx-2\mu \int _{\mathbb {R} }xf(x)\,dx+\mu ^{2}\int _{\mathbb {R} }f(x)\,dx\\[4pt]&=\int _{\mathbb {R} }x^{2}\,dF(x)-2\mu \int _{\mathbb {R} }x\,dF(x)+\mu ^{2}\int _{\mathbb {R} }\,dF(x)\\[4pt]&=\int _{\mathbb {R} }x^{2}\,dF(x)-2\mu \cdot \mu +\mu ^{2}\cdot 1\\[4pt]&=\int _{\mathbb {R} }x^{2}\,dF(x)-\mu ^{2},\end{aligned}}} cdf3ec706581db5951e939cb3993a5c8289d7da4.svg_

或等价地:

Var ⁡ ( X ) = ∫ R x 2 f ( x ) d x − μ 2 , {\displaystyle \operatorname {Var} (X)=\int _{\mathbb {R} }x^{2}f(x)\,dx-\mu ^{2},} 15af4223be86b41d179dfd36b2ecbc27fd2d467a.svg_

其中 μ {\displaystyle \mu } X {\displaystyle X} 68baa052181f707c662844a465bfeeb135e82bab.svg_-1的期望值,其计算方法如下:

μ = ∫ R x f ( x ) d x = ∫ R x d F ( x ) . {\displaystyle \mu =\int _{\mathbb {R} }xf(x)\,dx=\int _{\mathbb {R} }x\,dF(x).} b7740952e7f25ebe7f046edf481de1739cc994a0.svg_

这些公式中, d x {\displaystyle dx} 845c817e348381a13f3fad5184169ce0e021c685.svg_ d F ( x ) {\displaystyle dF(x)} 9c065fcd7517b20d2163ac5e66595b0cc3f363d7.svg_的积分分别为勒贝格积分勒贝格-斯蒂尔吉斯积分英语Lebesgue–Stieltjes integration

若函数 x 2 f ( x ) {\displaystyle x^{2}f(x)} 1e5f450c6a9653e07085668d4d1c8360f346c606.svg_在每个有限区间 [ a , b ] ⊂ R {\displaystyle [a,b]\subset \mathbb {R} } a659536067aaaac2db1c44613a09a715f0cf7246.svg_都是黎曼可积的,则:

Var ⁡ ( X ) = ∫ − ∞ + ∞ x 2 f ( x ) d x − μ 2 , {\displaystyle \operatorname {Var} (X)=\int _{-\infty }^{+\infty }x^{2}f(x)\,dx-\mu ^{2},}

该积分为非正常黎曼积分

常见概率分布

下表列出了一些常用概率分布的方差。

概率分布类型 概率分布函数 均值 方差 二项式分布 Pr ( X = k ) = ( n k ) p k ( 1 − p ) n − k {\displaystyle \Pr \,(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}} 5cfded0f1a9d4d9e910721f1db0d5fe285c50336.svg_ n p {\displaystyle np} 3d6eb41e0e5e136f594b1a703d2f371d9a5e0c27.svg_-1 n p ( 1 − p ) {\displaystyle np(1-p)} 57f093250a1d822df677a03ac8aa78c6a8029866.svg_ 几何分布 Pr ( X = k ) = ( 1 − p ) k − 1 p {\displaystyle \Pr \,(X=k)=(1-p)^{k-1}p} 03c0bb391655492da40b2163cce8788e71963fba.svg_ 1 p {\displaystyle {\frac {1}{p}}} 31025cccb5c9d719d490bfc933e8d7b6b6f2b425.svg_ ( 1 − p ) p 2 {\displaystyle {\frac {(1-p)}{p^{2}}}} a2c1f7f678ee206bafd902eced1042cdac0476c4.svg_ 正态分布 f ( x ∣ μ , σ 2 ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 {\displaystyle f\left(x\mid \mu ,\sigma ^{2}\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}} ad3430627369da98fb50d7b816c5a40c5f83dead.svg_ μ {\displaystyle \mu } σ 2 {\displaystyle \sigma ^{2}} 53a5c55e536acf250c1d3e0f754be5692b843ef5.svg_ 连续型均匀分布 f ( x ∣ a , b ) = { 1 b − a for  a ≤ x ≤ b , 0 for  x < a  or  x > b {\displaystyle f(x\mid a,b)={\begin{cases}{\frac {1}{b-a}}&{\text{for }}a\leq x\leq b,\\[3pt]0&{\text{for }}x<a{\text{ or }}x>b\end{cases}}} {\displaystyle f(x\mid a,b)={\begin{cases}{\frac {1}{b-a}}&{\text{for }}a\leq x\leq b,\\[3pt]0&{\text{for }}xb\end{cases}}} a + b 2 {\displaystyle {\frac {a+b}{2}}} 1325e0aa44cdaf4b2e765a44c7109e6b9ed74e77.svg_ ( b − a ) 2 12 {\displaystyle {\frac {(b-a)^{2}}{12}}} 58f0bcceb78ee2cc3a1c7e62e60115121ff7b3f3.svg_ 指数分布 f ( x ∣ λ ) = λ e − λ x {\displaystyle f(x\mid \lambda )=\lambda e^{-\lambda x}} 1 λ {\displaystyle {\frac {1}{\lambda }}} 1 λ 2 {\displaystyle {\frac {1}{\lambda ^{2}}}} 9f565ce78bf61e51d870d9a5b27453c3c329aa00.svg_ 泊松分布 f ( k ∣ λ ) = e − λ λ k k ! {\displaystyle f(k\mid \lambda )={\frac {e^{-\lambda }\lambda ^{k}}{k!}}} b251319d91159ff545299d505a4f5a13b5164323.svg_ λ {\displaystyle \lambda } b43d0ea3c9c025af1be9128e62a18fa74bedda2a.svg_ λ {\displaystyle \lambda } b43d0ea3c9c025af1be9128e62a18fa74bedda2a.svg_

特性

方差不会是负的,因为平方运算结果为非负数:

Var ⁡ ( X ) ≥ 0 {\displaystyle \operatorname {Var} (X)\geq 0} f5359583d05b3682cba82efe7d041f2d795721a3.svg_

一个常数随机变量的方差为零。反之,若有限个数组成的资料集方差为零,则其内所有数皆相等。对于一般随机变量,也有类似结论,即方差为零推出该变量几乎总是取同一个值:

P ( X = a ) = 1 ⇔ Var ⁡ ( X ) = 0 {\displaystyle P(X=a)=1\Leftrightarrow \operatorname {Var} (X)=0} 23b6eea27b355d151393fb39a17c33d521cc549c.svg_

方差不变于定位参数的变动。也就是说,如果一个常数被加至一个数列中的所有变量值,此数列的方差不会改变:

Var ⁡ ( X + a ) = Var ⁡ ( X ) . {\displaystyle \operatorname {Var} (X+a)=\operatorname {Var} (X).}

如果所有数值被放大一个常数倍,方差会放大此常数的平方倍:

Var ⁡ ( a X ) = a 2 Var ⁡ ( X ) {\displaystyle \operatorname {Var} (aX)=a^{2}\operatorname {Var} (X)}

两个随机变量合的方差为:

Var ⁡ ( a X + b Y ) = a 2 Var ⁡ ( X ) + b 2 Var ⁡ ( Y ) + 2 a b Cov ⁡ ( X , Y ) , {\displaystyle \operatorname {Var} (aX+bY)=a^{2}\operatorname {Var} (X)+b^{2}\operatorname {Var} (Y)+2ab\,\operatorname {Cov} (X,Y),} Var ⁡ ( X − Y ) = Var ⁡ ( X ) + Var ⁡ ( Y ) − 2 Cov ⁡ ( X , Y ) , {\displaystyle \operatorname {Var} (X-Y)=\operatorname {Var} (X)+\operatorname {Var} (Y)-2\,\operatorname {Cov} (X,Y),}

此处Cov(X, Y)代表协方差

对于 N {\displaystyle N} 个随机变量 { X 1 , … , X N } {\displaystyle \{X_{1},\dots ,X_{N}\}} 的总和:

Var ⁡ ( ∑ i = 1 N X i ) = ∑ i , j = 1 N Cov ⁡ ( X i , X j ) = ∑ i = 1 N Var ⁡ ( X i ) + ∑ i ≠ j Cov ⁡ ( X i , X j ) {\displaystyle \operatorname {Var} \left(\sum _{i=1}^{N}X_{i}\right)=\sum _{i,j=1}^{N}\operatorname {Cov} (X_{i},X_{j})=\sum _{i=1}^{N}\operatorname {Var} (X_{i})+\sum _{i\neq j}\operatorname {Cov} (X_{i},X_{j})}

在样本空间Ω上存在有限期望和方差的随机变量构成一个希尔伯特空间L2 (Ω, dP),不过这里的内积和长度跟协方差,标准差还是不大一样。所以,我们得把这个空间“除”常变量构成的子空间,也就是说把相差一个常数的所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间,并且有一个从旧空间内积诱导出来的新内积,而这个内积就是协方差。

总体方差和样本方差

总体方差

一般而言,一个有限的容量为N、元素的值为xi的总体的总体方差为:

σ 2 = 1 N ∑ i = 1 N ( x i − μ ) 2 = 1 N ∑ i = 1 N ( x i 2 − 2 μ x i + μ 2 ) = ( 1 N ∑ i = 1 N x i 2 ) − 2 μ ( 1 N ∑ i = 1 N x i ) + μ 2 = ( 1 N ∑ i = 1 N x i 2 ) − μ 2 {\displaystyle {\begin{aligned}\sigma ^{2}&={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-\mu \right)^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}^{2}-2\mu x_{i}+\mu ^{2}\right)\\[5pt]&=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-2\mu \left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)+\mu ^{2}\\[5pt]&=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-\mu ^{2}\end{aligned}}}

其中总体均值为:

μ = 1 N ∑ i = 1 N x i . {\displaystyle \mu ={\frac {1}{N}}\sum _{i=1}^{N}x_{i}.}

总体方差也可用下式计算:

s 2 = n n − 1 σ Y 2 = n n − 1 [ 1 n ∑ i = 1 n ( Y i − Y ¯ ) 2 ] = 1 n − 1 ∑ i = 1 n ( Y i − Y ¯ ) 2 {\displaystyle s^{2}={\frac {n}{n-1}}\sigma _{Y}^{2}={\frac {n}{n-1}}\left[{\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}\right]={\frac {1}{n-1}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}}

当语境明确时,两个估计量都可以简称为“样本方差”。同样的证明也适用于取自连续概率分布的样本。

其中,对n − 1的使用称为贝塞尔校正英语Bessels correction,它也用于样本协方差英语sample covariance和样本标准差(方差的平方根)。平方根是一个凹函数,因此会引入负偏差(根据简森不等式),具体取决于分布,因此校正的样本标准差(使用贝塞尔校正)是有偏的。标准差的无偏估计英语unbiased estimation of standard deviation是一个技术上复杂的问题,不过对于正态分布,使用n – 1.5能得到几乎无偏的估计值。

无偏样本方差是函数ƒ(y1, y2) = (y1 − y2)2/2U-统计量

一般化

如果X是一个向量其取值范围在实数空间Rn,并且其每个元素都是一个一维随机变量,我们就把X称为随机向量。随机向量的方差是一维随机变量方差的自然推广,其定义为E[(X − μ)(X − μ)T],其中μ = E(X)XTX的转置。这个方差是一个非负定的方阵,通常称为协方差矩阵

如果X是一个复数随机变量的向量(向量中每个元素均为复数的随机变量),那么其方差定义则为E[(X − μ)(X − μ)*],其中X*X共轭转置向量或称为埃尔米特向量。根据这个定义,方差为实数。

历史

“方差”(variance)这个名词率先由罗纳德·费希尔(英语:Ronald Fisher)在论文《The Correlation between Relatives on the Supposition of Mendelian Inheritance[4]中提出。

后来方差逐渐衍生出了“半方差”(semivariance)、“亚方差”(hypo variance)、“超方差”(super variance)、“圆方差英语circular variance”(circular variance)与“倒方差”(inverse variance)等概念。

半方差

半方差的计算方式与方差类似,但是只包括了低于均值的观测值:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注