走る作曲家のAIカフェ

「北海道大学大学院情報科学院修士課程入学試験」（令和6年8月実施）の情報理工学コース「確率・統計」対策ページです。

分野別対策

• 院試対策 ～はじめに～
• 院試対策 ～基礎数学編～
• 院試対策 ～情報数学編～
• 院試対策 ～確率・統計編～
• 院試対策 ～情報理論編～
• 院試対策 ～アルゴリズムとデータ構造編～
• 院試対策 ～人工知能編～
• 院試対策 ～コンピュータシステム編～
• 院試対策 ～最終チェック～

確率・統計

参考にした本は以下のとおり。

改訂版　日本統計学会公式認定　統計検定２級対応　統計学基礎

チェビシェフの不等式

• 期待値\(\mu\)、分散\(\sigma\)をもつ確率分布に従う確率変数\(X\)があるとする。
• このとき、任意の\(k\)に対して次の不等式が成り立つ。
  \begin{align} P(|X-\mu| \geq k\sigma) \leq 1/k^2 \end{align}
• \(\epsilon = k\sigma\)とおくと、次の式に変形できる。
  \begin{align} P(|X-\mu|\geq\epsilon)\leq\frac{\sigma^2}{\epsilon^2} \\ P(|X-\mu|<\epsilon)\geq\frac{1-\sigma^2}{\epsilon^2} \end{align}

大数の法則

• 大数の法則は多数回の試行の結果として得られたデータの平均（標本平均）や相対度数が、試行回数\(n\)を大きくするとき、確率分布の平均（母平均）や生起確率に近づくことを保証する理論的根拠となっている定理である。
• \(X_1, X_2, ..., X_n\)が互いに独立に平均\(\mu\)、分散\(\sigma^2\)の同一の確率分布に従うとする。
• このとき、平均\(\overline{X}=(X_1+X_2+...+X_n)/n\)の期待値と分散は\(E[\overline{X}]=\mu, V[\overline{X}]=\frac{\sigma^2}{n}\)となる。
• \(\overline{X}\)の場合についてチェビシェフの不等式を求めると
  \begin{align} P(|\overline{X}-\mu|<\epsilon)\geq\frac{1-\sigma^2}{n\epsilon^2} \end{align}
  となり、\(n\)を大きくするとき次の性質を持つことがいえる。
• 定理（大数の弱法則）
• \(X_1, X_2, ..., X_n\)が互いに独立に平均\(\mu\)、分散\(\sigma^2\)の同一の確率分布に従うとき、任意の\(\epsilon\)に対して
  \begin{align} \lim_{n \to \infty} P(|\overline{X}-\mu|<\epsilon)=1 \end{align}
  が成り立つ。
• これを標本平均\(\overline{X}\)は母平均\(\mu\)に確率収束するといい、\(\overline{X} \xrightarrow{P} \mu\)と表す。
• これより、標本平均\(\overline{X}\)は\(n\)を無限に大きくするとき期待値（母平均）\(\mu\)に近づくことがわかる。

一致性

• ある母数\(\theta\)の推定量\(\hat{\theta}\)が\(\hat{\theta} \xrightarrow{P} \theta\)を満たすことを一致性と呼び、\(\hat{\theta}\)を一致推定量と呼ぶ。
• 標本平均
• 大数の弱法則\(\overline{x} \xrightarrow{P} \mu\)から、平均\(\overline{x}\)は\(n\)が大きくなると母平均に近づく。
• 標本分散
• 標本分散は以下の式で表される。
  \begin{align} s^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})^2 \end{align}
• この式は、以下のように変形できる。
  \begin{align} s^2 &= \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})^2 \\ &= \frac{1}{n} \sum_{i=1}^n ((x_i - \mu) - (\overline{x} - \mu))^2 \\ &= \frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2 - (\overline{x} - \mu)^2 \\ \end{align}
• この式の第２項は\((\overline{x} - \mu) \xrightarrow{P} 0\)であるため、\((\overline{x} - \mu)^2 \xrightarrow{P} 0\)となる。
• また、\(\nu_i = (x_i - \mu)^2\)とおくと、\(\nu_i\)は互いに独立で同じ分布に従う確率変数となり、大数の法則を適用できる。
• これから、第１項は\(\overline{\nu} \xrightarrow{P} \sigma^2\)となり、\(s^2 \xrightarrow{P} \sigma^2\)がいえる。
• 不偏分散
• 不偏分散は以下の式で表される。
  \begin{align} u^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2 \end{align}
• \(n \rightarrow \infty\)のとき、無限大に発散する分母について、\(s^2\)と高々１しか差がない\(u^2\)も一致性を持つ。

不偏性

• 推定量\(\hat{\theta}\)の分布は母数\(\theta\)によって定められるが、その期待値が\(E[\hat{\theta}] = \theta\)と、常に母数に等しくなる性質を不偏性と呼び、その性質を持つ推定量を不偏推定量と呼ぶ。
• これは一致性と異なり、標本の大きさ\(n\)に依存しない基準である。
• 不偏推定量でなければ、推定には偏りがあるといい、偏りを\(E[\hat{\theta}] - \theta\)で定義する。
• 標本平均
• \begin{align} E[\overline{x}] = \frac{1}{n} \sum_{i=1}^{n} E[x_i] = \frac{1}{n} \sum_{i=1}^{n} \mu = \mu \end{align}
• 分散
• 偏差平方和を\(T_{xx} = \sum (x_i - \overline{x})^2\)とおくと、
  \begin{align} T_{xx} &= \sum (x_i - \overline{x})^2 \\ &= \sum [(x_i - \mu) - (\overline{x} - \mu)]^2 \\ &= \sum (x_i - \mu)^2 - n(\overline{x} - \mu)^2 \end{align}
  となる。
• ここで期待値を計算すると次の結果が得られる。
  \begin{align} E[T_{xx}] &= \sum E[(x_i - \mu)^2] - n E[(\overline{x} - \mu)^2] \\ &= \sum V[x_i] - nV[\overline{x}] \\ &= n \sigma^2 - n \frac{\sigma^2}{n} \\ &= (n-1) \sigma^2 \end{align}
• したがって、標本分散は不偏性を持たず、不偏分散は不偏性を持つ。

条件付き確率とベイズの定理

参考にしたサイトは以下のとおり。

条件付き確率とベイズの定理 〜検査結果の陽性が正しい確率を求める〜 - とある数物研究者の覚書.html

• 事象\(B\)が起こったときの事象\(A\)が起こる条件付き確率\(P(A|B)\)を以下のように定義する。
  \begin{align} P(A|B) = \frac{P(A \cap B)}{P(B)} \end{align}
• 次のベイズの定理は、\(P(B|A)\)が分かっている状態で\(P(A|B)\)を求めたいときに有効である。
  \begin{align} P(A|B) = \frac{P(A)P(B|A)}{P(B)} \end{align}
• この式は、条件付き確率の定義を用いて、\(P(A \cap B)\)を二通りで表すことによって導くことができる。
• 具体例

問題：「検査結果の陽性が正しい確率」

ある病気の検査結果について、以下の事実が分かっている。

1. この検査の真陽性率（感度; True positive）は90%である。
2. この検査の真陰性率（特異度; True negative）は80%である。
3. 全体の人口の5%がこの病気に罹患している。

検査で陽性と判定された場合、実際に病気に罹患している確率を求めたい。

		検査結果
		陽性（事象B）	陰性
病気に 罹っているか	罹っている（事象A）	a	b
	罹っていない	c	d

表のように事象\(A, B\)を定めると、求めたい確率は\(P(A|B)\)となる。

１つ目の条件より、\(P(B|A) = 0.90\)である。

２つ目の条件より、\(P(B^c|A^c) = 0.80\)、すなわち、\(P(B|A^c) = 1.00 - 0.80 = 0.20\)である。

３つ目の条件より、\(P(A) = 0.05\)、すなわち、\(P(A^c) = 0.95\)である。

また、\(P(B)\)は以下のように展開できる。

\begin{align} P(B) &= B \cap \Omega \\ &= B \cap (A \cup A^c) \\ &= (B \cap A) \cup (B \cap A^c) \end{align}

この式に、条件付き確率の式\(P(B|A) = \frac{P(B \cap A)}{P(A)}\)を用いると、ベイズの式は以下のように変形できる。

\begin{align} P(A|B) &= \frac{P(A)P(B|A)}{P(B)} \\ &= \frac{P(A)P(B|A)}{P(A)P(B|A) + P(A^c)P(B|A^c)} \end{align}

したがって、

\begin{align} P(A|B) &= \frac{0.05 \times 0.90}{0.05 \times 0.90 + 0.95 \times 0.20} \simeq 0.19 \end{align}

となる。

当選確率の問題

ある懸賞に応募した3人の応募者A、B、Cの中から、主催者はそれぞれ確率 \( \frac{1}{4} \), \( \frac{1}{4} \), \( \frac{1}{2} \) で1人だけ当選者を決定するとする。 応募者Aから主催者に、「応募者BかCのどちらか少なくとも1人は落選するはずなので、BとCのうちで落選した1人の名前を教えて欲しい」という質問があった。 主催者は「Bは落選した」と答えた。この答えを聞いた後での、Aが当選する確率を求めよ。 ただし、BとCの両方が落選している場合、主催者は確率 \( \frac{1}{2} \) でどちらかの名前を答えるとする。

• 事象Aを「Aが当選する」、事象Bを「Bが落選したと言われる」、事象Cを「Cが当選する」とする。
• 条件付き確率\(P(A|B)\)をベイズの定理によって求める。
• ベイズの定理は、次の式で表される。
  \begin{align} P(A|B) = \frac{P(A)P(B|A)}{P(B)} \end{align}
• ここで、\(P(A) = \frac{1}{4}, P(B|A) = \frac{1}{2}\)である。
• また、P(B)は以下のように計算される。
  \begin{align} P(B) &= P(A) \times P(B|A) + P(C) \times P(B|C) \\ &= \frac{1}{4} \times \frac{1}{2} + \frac{1}{2} \times 1 \\ &= \frac{5}{8} \end{align}
• 以上より、
  \begin{align} P(A|B) &= \frac{P(A)P(B|A)}{P(B)} \\ &= \frac{\frac{1}{4} \times \frac{1}{2}}{\frac{5}{8}} \\ &= \frac{1}{5} \end{align}

累積分布関数、確率密度関数、期待値、分散

• 具体例
連続一様分布の問題
確率変数 X が区間 (0, 1) での連続一様分布に従うとき、以下の小問に答えよ。
1. X の累積分布関数、確率密度関数、期待値、分散をそれぞれ答えよ。

   1. 累積分布関数 (CDF):
   \begin{align} F_X(x) = \begin{cases} 0 & \text{if } x < 0 \\ x & \text{if } 0 \le x \le 1 \\ 1 & \text{if } x > 1 \end{cases} \end{align}
   2. 確率密度関数 (PDF):
   \begin{align} f_X(x) = \begin{cases} 1 & \text{if } 0 \le x \le 1 \\ 0 & \text{otherwise} \end{cases} \end{align}
   3. 期待値:
   \begin{align} E[X] = \int_0^1 x \cdot f_X(x) \, dx = \int_0^1 x \, dx = \left[ \frac{x^2}{2} \right]_0^1 = \frac{1}{2} \end{align}
   4. 分散:
   \begin{align} \mathrm{Var}(X) = E[X^2] - (E[X])^2 \end{align}
   \begin{align} E[X^2] = \int_0^1 x^2 \cdot f_X(x) \, dx = \int_0^1 x^2 \, dx = \left[ \frac{x^3}{3} \right]_0^1 = \frac{1}{3} \end{align}
   \begin{align} \mathrm{Var}(X) = \frac{1}{3} - \left( \frac{1}{2} \right)^2 = \frac{1}{3} - \frac{1}{4} = \frac{1}{12} \end{align}

2. \(Y = -2 \ln(1 - X)\) とおく。Y の累積分布関数、確率密度関数、期待値、分散をそれぞれ答えよ。

   1. 累積分布関数 (CDF):
   \begin{align} F_Y(y) = P(Y \le y) = P(-2 \ln(1 - X) \le y) \end{align}
   \begin{align} -2 \ln(1 - X) \le y \implies \ln(1 - X) \ge -\frac{y}{2} \implies 1 - X \ge e^{-\frac{y}{2}} \implies X \le 1 - e^{-\frac{y}{2}} \end{align}
   \begin{align} F_Y(y) = P(X \le 1 - e^{-\frac{y}{2}}) = F_X(1 - e^{-\frac{y}{2}}) = 1 - e^{-\frac{y}{2}} \end{align}
   2. 確率密度関数 (PDF):
   \begin{align} f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} (1 - e^{-\frac{y}{2}}) = \frac{1}{2} e^{-\frac{y}{2}} \end{align}
   3. 期待値:
   \begin{align} E[Y] = \int_0^\infty y \cdot f_Y(y) \, dy = \int_0^\infty y \cdot \frac{1}{2} e^{-\frac{y}{2}} \, dy \end{align}
   \begin{align} \text{置換 } u = \frac{y}{2} \text{ を行うと、} \end{align}
   \begin{align} E[Y] = \int_0^\infty 2u \cdot e^{-u} \, du = 2 \int_0^\infty u e^{-u} \, du \end{align}
   \begin{align} \int_0^\infty u e^{-u} \, du \text{ はガンマ関数の結果から } 1 \text{ であるため、} \end{align}
   \begin{align} E[Y] = 2 \cdot 1 = 2 \end{align}
   4. 分散:
   \begin{align} \mathrm{Var}(Y) = E[Y^2] - (E[Y])^2 \end{align}
   \begin{align} E[Y^2] = \int_0^\infty y^2 \cdot f_Y(y) \, dy = \int_0^\infty y^2 \cdot \frac{1}{2} e^{-\frac{y}{2}} \, dy \end{align}
   \begin{align} \text{置換 } u = \frac{y}{2} \text{ を行うと、} \end{align}
   \begin{align} E[Y^2] = \int_0^\infty 4u^2 \cdot e^{-u} \, du = 4 \int_0^\infty u^2 e^{-u} \, du \end{align}
   \begin{align} \int_0^\infty u^2 e^{-u} \, du \text{ はガンマ関数の結果から } 2 \text{ であるため、} \end{align}
   \begin{align} E[Y^2] = 4 \cdot 2 = 8 \end{align}
   \begin{align} \mathrm{Var}(Y) = 8 - (2)^2 = 8 - 4 = 4 \end{align}

確率変数の分散に関する問題

独立同分布な確率変数 \( X_1, X_2, \dots, X_n \) について、それぞれの分散が \( \sigma^2 \) であるとする。

1. 確率変数 \( S = \sum_{i=1}^n X_i \) の分散 \( \text{Var}(S) \) を求めよ。
2. 確率変数 \( T = X_1/n \) の分散 \( \text{Var}(T) \) を求めよ。

1. 確率変数 \( S = \sum_{i=1}^n X_i \) の分散 \( \text{Var}(S) \) を求める

確率変数 \( S \) は \( X_1, X_2, \dots, X_n \) の和で表される。

分散の性質を利用すると、独立な確率変数 \( X_i \) の和の分散は次のように計算される：

\begin{align}\text{Var}(S) = \text{Var}\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n \text{Var}(X_i)\end{align}

各 \( X_i \) の分散は \( \sigma^2 \) であるので、

\begin{align}\text{Var}(S) = \sum_{i=1}^n \sigma^2 = n\sigma^2\end{align}

したがって、確率変数 \( S = \sum_{i=1}^n X_i \) の分散 \( \text{Var}(S) \) は \( n\sigma^2 \) である。

2. 確率変数 \( T = X_1/n \) の分散 \( \text{Var}(T) \) を求める

確率変数 \( T \) は \( X_1 \) を \( n \) で割ったものである。

分散の性質を利用すると、定数倍された確率変数の分散は次のように計算される：

\begin{align}\text{Var}(T) = \text{Var}\left(\frac{X_1}{n}\right) = \frac{1}{n^2} \text{Var}(X_1)\end{align}

\( X_1 \) の分散は \( \sigma^2 \) であるので、

\begin{align}\text{Var}(T) = \frac{1}{n^2} \sigma^2 = \frac{\sigma^2}{n^2}\end{align}

したがって、確率変数 \( T = X_1 / n \) の分散 \( \text{Var}(T) \) は \( \frac{\sigma^2}{n^2} \) である。

ベルヌーイ分布に関する問題
確率変数 \( X \) は 0 と 1 のいずれかの値をとり、その確率が \( P(X = 1) = p \), \( P(X = 0) = 1 - p \) であるとする。ただし、\( p \) は \( 0 \leq p \leq 1 \) を満たし、成功確率と呼ばれる。この確率変数 \( X \) がしたがう確率分布は成功確率 \( p \) のベルヌーイ分布と呼ばれ、\( \text{Ber}(p) \) と書かれる。
1. ベルヌーイ分布 \( \text{Ber}(p) \) にしたがう確率変数 \( X \) の分散 \( \text{Var}(X) \) を求めよ。
2. 確率変数 \( X_1, X_2, \dots, X_n \) が独立にベルヌーイ分布 \( \text{Ber}(p) \) にしたがうとするとき、確率変数 \( Y = \sum_{i=1}^n X_i \) の分散 \( \text{Var}(Y) \) を求めよ。
3. 確率変数 \( Y \) の確率関数 \( P(Y = k) \) を求めよ。ただし、\( \mathbb{Z} \) は整数全体の集合である。
4. ベルヌーイ分布 \( \text{Ber}(p) \) にしたがう独立な確率変数 \( X_1, X_2, \dots, X_n \) について、これを観測値とみなし成功確率 \( p \) の推定を行う。成功確率 \( p \) の最尤推定量 \( \hat{p} \) を求めよ。
5. 最尤推定量 \( \hat{p} \) の分散 \( \text{Var}(\hat{p}) \) を求めよ。
解答
1. ベルヌーイ分布 \( \text{Ber}(p) \) にしたがう確率変数 \( X \) の分散 \( \text{Var}(X) \) を求める
ベルヌーイ分布にしたがう確率変数 \( X \) は、次のように定義される：
\begin{align} P(X = 1) &= p \\ P(X = 0) &= 1 - p \end{align}
期待値 \( \mathbb{E}[X] \) は：
\begin{align}\mathbb{E}[X] = 1 \times p + 0 \times (1 - p) = p\end{align}
分散 \( \text{Var}(X) \) は次のように計算される：
\begin{align} \text{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \end{align}
ベルヌーイ分布の場合、\( X^2 = X \) なので、
\begin{align}\mathbb{E}[X^2] = \mathbb{E}[X] = p\end{align}
したがって、
\begin{align} \text{Var}(X) = p - p^2 = p(1 - p) \end{align}
2. 確率変数 \( X_1, X_2, \dots, X_n \) が独立にベルヌーイ分布 \( \text{Ber}(p) \) にしたがうとき、確率変数 \( Y = \sum_{i=1}^n X_i \) の分散 \( \text{Var}(Y) \) を求める
\( Y \) は \( n \) 回の独立なベルヌーイ試行の和であるので、これは二項分布 \( \text{Bin}(n, p) \) に従う。
分散の性質より、和の分散は次のように計算される：
\begin{align} \text{Var}(Y) = \sum_{i=1}^n \text{Var}(X_i) = n \cdot p(1 - p) \end{align}
したがって、\( \text{Var}(Y) = np(1 - p) \) である。
3. 確率変数 \( Y \) の確率関数 \( P(Y = k) \) を求める
\( Y \) は \( n \) 回のベルヌーイ試行の和であり、これは二項分布 \( \text{Bin}(n, p) \) に従う。したがって、確率関数は次の通りである：
\begin{align} P(Y = k) = \binom{n}{k} p^k (1 - p)^{n - k} \end{align}
4. 成功確率 \( p \) の最尤推定量 \( \hat{p} \) を求める
最尤推定量 \( \hat{p} \) は、観測値の平均として表される：
\begin{align} \hat{p} = \frac{1}{n} \sum_{i=1}^n X_i \end{align}
つまり、
\begin{align} \hat{p} = \frac{Y}{n} \end{align}
5. 最尤推定量 \( \hat{p} \) の分散 \( \text{Var}(\hat{p}) \) を求める
\( \hat{p} = \frac{Y}{n} \) なので、次のように分散を求める：
\begin{align} \text{Var}(\hat{p}) = \text{Var}\left(\frac{Y}{n}\right) = \frac{1}{n^2} \text{Var}(Y) \end{align}
\( \text{Var}(Y) = np(1 - p) \) なので、
\begin{align} \text{Var}(\hat{p}) = \frac{1}{n^2} \times np(1 - p) = \frac{p(1 - p)}{n} \end{align}

期待値の問題

離散型の確率変数 \( X \) が以下の確率分布にしたがう場合の期待値 \( \mathbb{E}[X] \) を求めよ。

(1) 成功確率 \( p \) （\( 0 < p < 1 \)）、試行回数 \( n \) の二項分布:

\begin{align} p(x) = \binom{n}{x} p^x (1 - p)^{n - x} \quad (x = 0, 1, 2, \dots, n) \end{align}

ただし、\( \binom{n}{x} \) は \( \frac{n!}{x!(n-x)!} \) である。

(2) パラメータ \( \lambda \) （\( \lambda > 0 \)）のポアソン分布:

\begin{align} p(x) = \frac{\lambda^x e^{-\lambda}}{x!} \quad (x = 0, 1, 2, \dots) \end{align}

(1)の解答

二項分布の期待値は、一般に以下の公式で表される：

\begin{align} \mathbb{E}[X] = n \cdot p \end{align}

この結果は、二項分布の性質から直接導かれるものである。各試行における成功確率が \( p \) であり、\( n \) 回の独立試行の総和としての期待値は \( n \) 回の試行それぞれで期待される成功回数 \( p \) を合計したものである。

(2)の解答

ポアソン分布の期待値もまた、次のように既知の公式で表される：

\begin{align} \mathbb{E}[X] = \lambda \end{align}

これは、ポアソン分布の性質から直接導かれるものである。ポアソン分布は、単位時間あたりに発生する事象の平均回数を表す分布であり、その平均がそのまま期待値になる。

参考にしたサイトは以下のとおり。

統計学 – 全確率の定理、ベイズの定理 _ pystyle.html

「条件付き期待値」と「期待値の繰り返しの公式」の定義の確認と直感的解釈 - あつまれ統計の森.html

同時確率関数の問題

\( X \) と \( N \) はそれぞれ離散型の確率変数であり、0以上の整数全体 \( \{0, 1, 2, \dots\} \) に値をとるものとする。また、\( X, N \) の同時確率関数を \( p(x, n) := P(X = x, N = n) \)、\( X \) の周辺確率関数を \( p_X(x) := P(X = x) \)、\( N \) の周辺確率関数を \( p_N(n) := P(N = n) \)、\( N = n \) という条件が与えられた下での \( X \) の条件付き確率関数を \( p_{X|N}(x|n) := P(X = x|N = n) \) と表すこととする。

1. 以下の式が成り立つことを示せ：
   \begin{align} p_X(x) = \sum_{n=0}^{\infty} p_N(n) p_{X|N}(x|n) \end{align}
2. 以下の式が成り立つことを示せ：
   \begin{align} \mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X|N]] \end{align}
   ただし、\( \mathbb{E}[X] \) は \( X \) の期待値、\( \mathbb{E}[\mathbb{E}[X|N]] \) の外側の期待値記号 \( \mathbb{E} \) は \( N \) に関する期待値である。また、\( \mathbb{E}[X|N] \) は \( N \) で条件付けられた \( X \) の条件付き期待値であり、
   \begin{align} \mathbb{E}[X|N] := \sum_{x=0}^{\infty} x p_{X|N}(x|N) \end{align}
   と定義される。
3. 確率変数 \( N \) がパラメータ \( \lambda > 0 \) のポアソン分布にしたがい、\( N = n \) で条件付けられた確率変数 \( X \) の条件付き分布が、成功確率 \( p \) （\( 0 < p < 1 \)）、試行回数 \( n \) の二項分布であるとする。つまり、\( N \) の周辺確率関数と、\( N \) が与えられた下での \( X \) の条件付き確率関数が以下のように与えられるとする：
   \begin{align} p_N(n) = \frac{e^{-\lambda} \lambda^n}{n!} \quad (n = 0, 1, 2, \dots) \end{align}
   \begin{align} p_{X|N}(x|n) = \binom{n}{x} p^x (1 - p)^{n-x} \quad (x = 0, 1, 2, \dots, n) \end{align}
   このとき、\( X \) の期待値 \( \mathbb{E}[X] \) を求めよ。

(1)の解答

\begin{align} p_X(x) = \sum_{n=0}^{\infty} p_N(n) p_{X|N}(x|n) \end{align}

この式は、全確率の法則を表している。全確率の法則は、確率変数 \( X \) の周辺確率を条件付き確率と周辺確率の積の総和として表すことができることを示す。したがって、

\begin{align} p_X(x) = \sum_{n=0}^{\infty} p_N(n) p_{X|N}(x|n) \end{align}

という式が成り立つ。

(2)の解答

\begin{align} \mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X|N]] \end{align}

この式は期待値の塔則（条件付き期待値の法則）を表している。この法則によれば、全体の期待値 \( \mathbb{E}[X] \) は、条件付き期待値 \( \mathbb{E}[X|N] \) の期待値を求めることと等価である。したがって、

\begin{align} \mathbb{E}[X] = \sum_{x=0}^{\infty} x \cdot \sum_{n=0}^{\infty} p_N(n) p_{X|N}(x|n) \end{align}

和の順序を入れ替えて計算すると、

\begin{align} \mathbb{E}[X] = \sum_{n=0}^{\infty} p_N(n) \cdot \mathbb{E}[X|N=n] \end{align}

これは、期待値の塔則 \( \mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X|N]] \) を示している。

(3)の解答

まず、\( N \) がポアソン分布に従うとき、その周辺確率は次のように表される：

\begin{align} p_N(n) = \frac{e^{-\lambda} \lambda^n}{n!} \quad (n = 0, 1, 2, \dots) \end{align}

また、条件付き確率 \( p_{X|N}(x|n) \) は二項分布に従い、次のように表される：

\begin{align} p_{X|N}(x|n) = \binom{n}{x} p^x (1 - p)^{n-x} \quad (x = 0, 1, 2, \dots, n) \end{align}

期待値 \( \mathbb{E}[X] \) は、前問で示した \( \mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X|N]] \) を利用して次のように計算できる：

\begin{align} \mathbb{E}[X] = \sum_{n=0}^{\infty} p_N(n) \cdot n \cdot p \end{align}

ここで、\( p_N(n) \) を代入して計算を進めると、

\begin{align} \mathbb{E}[X] = p \sum_{n=0}^{\infty} n \cdot \frac{e^{-\lambda} \lambda^n}{n!} \end{align}

この和は、ポアソン分布の期待値 \( \mathbb{E}[N] = \lambda \) であることを考慮すると、

\begin{align} \mathbb{E}[X] = p \cdot \lambda \end{align}

と求まる。

同時確率密度関数に関する問題

次に示す式が(同時)確率密度関数となる確率変数 \((X,Y)\) に関して以下の問いに答えよ。

\begin{align} f(x, y) = \begin{cases} c & x^2 + y^2 < 1 \text{のとき} \\ 0 & \text{その他の場合} \end{cases} \end{align}

1. \(f(x, y)\) が確率密度関数であることから定数 \(c\) を求めよ。
2. \(X\) の期待値 \(\mathrm{E}(X)\) を求めよ。
3. \(X\) と \(Y\) の共分散 \(\mathrm{Cov}(X, Y)\) を求めよ。
4. \(X\) と \(Y\) は独立でないことを証明せよ。

(1)の解答

確率密度関数の条件として、全空間での積分が1である必要がある。したがって、以下のように \( f(x, y) \) の積分を行う。

\begin{align} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f(x, y) \, dx \, dy = 1 \end{align}

問題の条件から \( f(x, y) = c \) は円の内部（半径1、中心(0,0)）で定義されており、それ以外では0である。このため、円の内部のみ積分すれば良い。極座標に変換して積分する。

\begin{align} \int_{0}^{2\pi} \int_{0}^{1} c \cdot r \, dr \, d\theta = 1 \end{align}

ここで \( r \) は半径、\( \theta \) は角度である。

積分を計算すると、

\begin{align} c \cdot \int_{0}^{2\pi} d\theta \int_{0}^{1} r^2 \, dr = c \cdot 2\pi \cdot \left[ \frac{r^2}{2} \right]_{0}^{1} = c \cdot 2\pi \cdot \frac{1}{2} = c \cdot \pi \end{align}

これが1に等しいので、

\begin{align} c \cdot \pi = 1 \quad \Rightarrow \quad c = \frac{1}{\pi} \end{align}

(2)の解答

期待値は次の式で求める。

\begin{align} \mathrm{E}(X) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x f(x, y) \, dx \, dy \end{align}

これを極座標に変換して計算する。

\begin{align} \mathrm{E}(X) &= \int_{0}^{2\pi} \int_{0}^{1} \left( r\cos\theta \right) \frac{1}{\pi} r \, dr \, d\theta \\ &= \frac{1}{\pi} \int_{0}^{2\pi} \cos\theta \, d\theta \int_{0}^{1} r^2 \, dr \\ &= \frac{1}{\pi} \cdot \left[ \sin\theta \right]_{0}^{2\pi} \cdot \frac{1}{3} = \frac{1}{\pi} \cdot 0 \cdot \frac{1}{3} = 0 \end{align}

したがって、\( \mathrm{E}(X) = 0 \) である。

(3)の解答

共分散は次の式で求める。

\begin{align} \mathrm{Cov}(X, Y) = \mathrm{E}(XY) - \mathrm{E}(X)\mathrm{E}(Y) \end{align}

すでに \( \mathrm{E}(X) = 0 \)、\( \mathrm{E}(Y) = 0 \) であるため、共分散は次のように求められる。

\begin{align} \mathrm{E}(XY) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xy f(x, y) \, dx \, dy \end{align}

これも極座標に変換する。

\begin{align} \mathrm{E}(XY) &= \int_{0}^{2\pi} \int_{0}^{1} \left( r^2 \cos\theta \sin\theta \right) \frac{1}{\pi} r \, dr \, d\theta \\ &= \frac{1}{\pi} \int_{0}^{2\pi} \cos\theta \sin\theta \, d\theta \int_{0}^{1} r^3 \, dr \\ &= \frac{1}{\pi} \cdot \left[ \frac{\sin^2\theta}{2} \right]_{0}^{2\pi} \cdot \frac{1}{4} = 0 \end{align}

したがって、\( \mathrm{Cov}(X, Y) = 0 \) である。

(4)の解答

\( X \) と \( Y \) が独立であるならば、結合確率密度関数は各変数の確率密度関数の積として表せる。しかし、円の中で \( x^2 + y^2 < 1 \) という制約があるため、 \( X \) と \( Y \) は独立ではない。具体的には、 \( X \) の値が大きくなると、\( Y \) の値が小さくなる必要がある。よって、独立ではないことが示される。

一様分布の累積分布関数に関する問題

分布 \( d \) が区間 \([a, b]\) における一様分布である場合、以下の各問に答えよ。

1. \( d \) の確率密度関数 \( f(x) \) と累積分布関数 \( F(x) \) をそれぞれ示せ。
2. \( X_i (i = 1, 2, \dots, n) \) の最大値 \( X_{\max} \) の累積分布関数 \( F_{\max}(x) \) を求めよ。
3. \( a \leq x \leq b \) である任意の実数 \( x \) について、確率 \( P(X_{\max} = x) \) の値を答えよ。

(1)の解答

確率密度関数 f(x) は次のように定義される：

\begin{align} f(x) = \frac{1}{b-a} \quad \text{for} \quad a \leq x \leq b \end{align}

累積分布関数 F(x) は次のように表される：

\begin{align} F(x) = \begin{cases} 0 & \text{for } x < a \\ \frac{x-a}{b-a} & \text{for } a \leq x \leq b \\ 1 & \text{for } x > b \end{cases} \end{align}

(2)の解答

累積分布関数\(F_{max} (x)\)は「最大値\(X_{max}\)がある値\(x\)以下である確率」を表す。言い換えると、\(n\)個のすべての変数\(X_i\)が\(x\)以下となる確率である。

最大値 X_max の累積分布関数 F_max(x) は次のように求められる：

\begin{align} F_{\text{max}}(x) = \left( \frac{x-a}{b-a} \right)^n \quad \text{for} \quad a \leq x \leq b \end{align}

(3)の解答

\( a \leq x \leq b \) である任意の実数 x について、確率 P(X_max = x) は次のように表される：

\begin{align} P(X_{\text{max}} = x) = n \cdot \frac{1}{b-a} \cdot \left( \frac{x-a}{b-a} \right)^{n-1} \quad \text{for} \quad a \leq x \leq b \end{align}

歪度、尖度

単純な確率の問題

参考にしたサイトは以下のとおり。

同じ誕生日の二人組がいる確率について _ 高校数学の美しい物語.html