多項分布の期待値と分散

このページでは多項分布の期待値と分散について、確率質量関数からの導出方法を記載しています。

期待値の導出

期待値は多項分布の確率質量関数の形を意識しながら式変形していきます。

\begin{eqnarray*} E(X_{i})
&=& \displaystyle \sum_{x_{i}=0}^n x_{i}  f(x_{1}, x_{2}, …, x_{k}) \\
&=& \displaystyle \sum_{x_{i}=0}^n x_{i} \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\  
&=& \displaystyle \sum_{x_{i}=1}^n  \frac{n(n – 1)!}{x_{1}! x_{2}! …(x_{i}-1)!… x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} …p_{i}p_{i}^{(x_{i}-1)}… p_{k}^{x_{k}}  \\
&=& \displaystyle np_{i} \sum_{x_{i}=1}^n  \frac{(n – 1)!}{x_{1}! x_{2}! …(x_{i}-1)!… x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} …p_{i}^{(x_{i}-1)}… p_{k}^{x_{k}}  \\
&=& np_{i} \\
\end{eqnarray*}

ここで、最後の等式は\(\sum\)の中身が多項分布の確率質量関数となっており、その\(x_{i}\)についての周辺化は\(1\)となることを用いた。

分散の導出

まず、\(X_{i}(X_{i}-1)\)の期待値を求めます。期待値と同様に、多項分布の確率質量関数の形を意識しながら式変形していきます。

\begin{eqnarray*} E(X_{i}(X_{i} – 1))
&=& \displaystyle \sum_{x_{i}=0}^n x_{i} (x_{i} – 1) \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\ 
&=& \displaystyle \sum_{x_{i}=2}^n \frac{n(n – 1)(n – 2)!}{x_{1}! x_{2}! …(x_{i}-2)!… x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} …p_{i}^2 p_{i}^{x_{i}-2}… p_{k}^{x_{k}} \\
&=& \displaystyle n(n – 1)p_{i}^2 \sum_{x_{i}=2}^n \frac{(n – 2)!}{x_{1}! x_{2}! …(x_{i}-2)!… x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} …p_{i}^{x_{i}-2}… p_{k}^{x_{k}} \\
&=& n(n – 1)p_{i}^2 \\
\end{eqnarray*}

ここで、最後の等式は\(\sum\)の中身が多項分布の確率質量関数となっており、その\(x_{i}\)についての周辺化は\(1\)となることを用いた。

よって分散は

\begin{eqnarray*}V(X_{i})
&=& \displaystyle E(X_{i}^2) – (E(X_{i})^2 \\
&=& \displaystyle E(X_{i}(X_{i} – 1)) + E(X_{i}) – (E(X_{i}))^2 \\
&=& \displaystyle n(n – 1)p_{i}^2 + np_{i} – n^2p_{i}^2 \\
&=& \displaystyle np_{i}(1 – p_{i}) \\
\end{eqnarray*}

共分散の導出

まず、\(X_{i}X_{j}\)の期待値を求めます。

\begin{eqnarray*} E(X_{i}X_{j})
&=& \displaystyle \sum_{x_{i},x_{j}} x_{i} x_{j} \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\  
&=& \displaystyle \sum_{x_{i},x_{j}} \frac{n(n – 1)(n – 2)!}{x_{1}! x_{2}! …(x_{i}-1)!…(x_{j}-1)!… x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} …p_{i} p_{i}^{x_{i}-1}…p_{j} p_{j}^{x_{j}-1}… p_{k}^{x_{k}} \\
&=& \displaystyle n(n – 1)p_{i} p_{j} \sum_{x_{i},x_{j}} \frac{(n – 2)!}{x_{1}! x_{2}! …(x_{i}-1)!…(x_{j}-1)!… x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} …p_{i}^{x_{i}-1}… p_{j}^{x_{j}-1}… p_{k}^{x_{k}} \\
&=& \displaystyle n(n – 1)p_{i} p_{j}
\end{eqnarray*}

よって共分散は

\begin{eqnarray*} Cov(X_{i}, X_{j})
&=& \displaystyle E(X_{i}X_{j}) – E(X_{i})E(X_{j}) \\
&=& \displaystyle n(n – 1)p_{i}p_{j} – n^2 p_{i} p_{j} \\
&=& -np_{i} p_{j}
\end{eqnarray*}