expected_value

<p>
\(X\) が \(x_i\) となる確率 \(p_i\) であるような確率変数 \(X\) において、<br/>
期待値とは確率変数 \(X\) の実現値を, 確率の重みで平均した値である。
\[
E[X] = \sum_{i=1}^{n}p_ix_i = \mu
\]
期待値は、以下のような性質を持つ。但し、\(a, b\) はスカラーである。
\[
E[aX+bY] = aE[X]+bE[Y]
\]
このことから以下が導かれる。
\[
\begin{aligned}
E[aX] &= aE[X]&(b=0)\\
E[aX+b] &= aE[X]+b&(Y=1)\\
E[X+Y] &= E[X]+E[Y]&(a=1, b=1)
\end{aligned}
\]
その分散は確率変数 \(X\) の２次の中心化モーメントであり、以下のように定義する。ちなみに、\(\sigma\) は標準偏差である。
\[
V[X] = E[(X-E[X])^2] = \sum_{i=1}^{n}p_i(x_i-\mu)^2 = \sigma^2
\]
すなわち、確率変数の分布が期待値からどれだけ散らばっているかを表している。展開してみると、以下の事実がわかる。
\[
\begin{aligned}
V[X] &= E[X^2-2X\mu-\mu^2]\\
&= E[X^2]-2E[X]\mu+E[\mu^2]\\
&= E[X^2]-2\mu^2+\mu^2\\
&= E[X^2]-E[X]^2\\
&= \sum_{i=1}^{n}p_ix_i^2 - \mu^2\\
\end{aligned}
\]
分散には以下の性質がある。
\[
\begin{gathered}
V[X] \ge 0\\
V[X+b] = V[X]\\
V[aX] = a^2V[X]\\
\end{gathered}
\]
</p>
<h2>和の期待値＝期待値の和</h2>
<p>
先にも示したが、以下が常に成り立つ。
\[
E[X+Y] = E[X]+E[Y]
\]
一般化すると、
\[
E\left[\sum_{i=1}^{n}X_i\right] = \sum_{i=1}^{n}E[X_i]
\]
証明は以下の通り。
\[
\begin{aligned}
E[X+Y]
&= \sum_{x}^{}\sum_{y}^{}(x+y)P(X=x,Y=y)\\
&= \sum_{x}^{}\sum_{y}^{}xP(X=x,Y=y)+\sum_{x}^{}\sum_{y}^{}yP(X=x,Y=y)\\
&= \sum_{x}^{}x\sum_{y}^{}P(X=x,Y=y)+\sum_{y}^{}y\sum_{x}^{}P(X=x,Y=y)\\
&= \sum_{x}^{}xP(X=x)+\sum_{y}^{}yP(Y=y) = E[X]+E[Y]\\
\end{aligned}
\]
</p>
<h2>和の分散＝分散の和（無相関のとき）</h2>
<p>
以下は \(X,\; Y\) が無相関のときのみ成り立つ。
\[
V[X+Y] = V[X]+V[Y]
\]
一般化すると、\(X_i\) がすべて無相関のときのみ、
\[
V\left[\sum_{i=1}^{n}X_i\right] = \sum_{i=1}^{n}V[X_i]
\]
独立なら無相関なので、以上は独立のときも成り立つ。
</p>
<h3>独立</h3>
<p>
\[
P(X=x,Y=y) = P(X=x)P(Y=y)
\]
</p>
<h3>無相関</h3>
<p>
\[
E[XY]=E[X]E[Y]
\]
</p>
<h3>独立なら無相関</h3>
<p>
\[
P(X=x,Y=y) = P(X=x)P(Y=y) \Rightarrow E[XY]=E[X]E[Y]
\]
証明は以下の通り。
\[
\begin{aligned}
E[XY]
&= \sum_{x}^{}\sum_{y}^{}xyP(X=x,Y=y)\\
&= \sum_{x}^{}\sum_{y}^{}xyP(X=x)P(Y=y)\\
&= \sum_{x}^{}xP(X=x)\sum_{y}^{}yP(Y=y)\\
&= E[X]E[Y]
\end{aligned}
\]
</p>
<h3>無相関なら独立とは限らない</h3>
<p>
\[
\begin{gathered}
E[XY]=E[X]E[Y]\\
\xRightarrow{?} P(X=x,Y=y) = P(X=x)P(Y=y)
\end{gathered}
\]
例えば、\((X,Y)=(1,0), (0,1), (-1,0), (0,-1)\) となる確率が \(p_i=\left\{\frac14, \frac14, \frac14, \frac14\right\}\) であるとき、
\[
\begin{aligned}
E[X] &= \frac14\cdot 1+\frac14\cdot(-1) = 0\\
E[Y] &= \frac14\cdot(-1)+\frac14\cdot 1 = 0\\
\end{aligned}
\]
よって、\(E[XY]=E[X]E[Y]=0\) となり \(X\) と \(Y\) は無相関である。
</p>
<p>
一方、
\[
\begin{aligned}
P(X=1,Y=0)&=\frac14\\
P(X=1)P(Y=0)&=\frac14\cdot \frac12=\frac18
\end{aligned}
\]
よって、\(P(X=x,Y=y) \neq P(X=x)P(Y=y)\) となるので \(X\) と \(Y\) は独立ではない。
</p>
<p>
ちなみに、\(X, Y\) が２次元正規分布に従うとき、無相関なら独立が成り立つことが分かっている。
</p>
<h3>共分散と相関係数</h3>
<p>
共分散は、確率変数 \(X, Y\) それぞれの平均との差を掛けて、その平均値を表すものであり、以下のように定義する。
\[
\mathrm{Cov}(X, Y) = E[(X-\mu_x)(Y-\mu_y)] = \sigma_{XY}
\]
ここで、展開してみると以下の事実がわかる。
\[
\begin{aligned}
\mathrm{Cov}(X, Y)
&= E[(X-\mu_x)(Y-\mu_y)]\\
&= E[XY-\mu_yX-\mu_xY+\mu_x\mu_y]\\
&= E[XY]-\mu_yE[X]-\mu_xE[Y]+\mu_x\mu_y\\
&= E[XY]-\mu_x\mu_y-\mu_x\mu_y+\mu_x\mu_y\\
&= E[XY]-\mu_x\mu_y\\
&= E[XY]-E[X]E[Y]\\
\end{aligned}
\]
相関係数とは、確率変数 \(X, Y\) の線形関係の程度を表し、以下のように定義する。
\[
\rho_{XY} = \frac{\sigma_{XY}}{\sigma_{X}\sigma_{Y}}
\]
以下、共分散が零なら相関係数は零は自明である。
\[
\mathrm{Cov}(X, Y) = 0 \Leftrightarrow \rho_{XY} = 0
\]
</p>
<h3>無相関なら共分散が零</h3>
<p>
\[
\mathrm{Cov}(X, Y) = 0 \Leftrightarrow E[XY]=E[X]E[Y]
\]
証明は以下の通り。
\[
\begin{aligned}
\mathrm{Cov}(X, Y)
&= E[(X-\mu_x)(Y-\mu_y)]\\
&= E[XY]-E[X]E[Y] = 0\\
\end{aligned}
\]
よって、\(E[X]E[Y]=E[X]E[Y]\) となり、これは無相関を表している。この逆も成り立つ。すなわち、無相関とは相関係数が零であることと同値である。
</p>
<p>
ちなみに、独立なら無相関なので共分散が零：
\[
\begin{gathered}
P(X=x,Y=y) = P(X=x)P(Y=y) \Rightarrow\\
E[XY]=E[X]E[Y] \Leftrightarrow \mathrm{Cov}(X, Y) = 0 \Leftrightarrow \rho_{XY} = 0
\end{gathered}
\]
が成り立つが、その逆は成り立つとは限らないことは先に述べた通りである。
</p>
<p>
よって、独立または無相関のときに以下が成り立つ。
\[
V[aX+bY] = a^2V[X]+b^2V[Y]
\]
証明は以下の通り。
\[
\begin{aligned}
V[aX+bY]
&= E[((aX+bY)-E[aX+bY])^2]\\
&= E[(aX+bY-aE[X]-bE[Y])^2]\\
&= E[(a(X-E[X])+b(Y-E[Y]))^2]\\
&= E[a^2(X-\mu_x)^2+2ab(X-\mu_x)(Y-\mu_y)+b^2(Y-\mu_y)^2]\\
&= a^2E[(X-\mu_x)^2]+2abE[(X-\mu_x)(Y-\mu_y)]+b^2E[(Y-\mu_y)^2]\\
&= a^2V[X]+2ab\,\mathrm{Cov}(X, Y)+b^2V[Y]\\
\end{aligned}
\]
ゆえに、\(\mathrm{Cov}(X, Y) = 0\) つまり独立または無相関のとき上述の式が成り立つ。
</p>