積率母関数について
はじめに
当時はスルーしていましたが、名前の由来というか、名前から意味が推測できないような気がしていました。
研究室に置いてあった「機械学習のための確率と統計（機械学習プロフェッショナルシリーズ）」の第１章にバッチリ答えが書いてありましたのでまとめてみます。
機械学習のための確率と統計 (機械学習プロフェッショナルシリーズ)
- 作者: 杉山将
- 出版社/メーカー: 講談社
- 発売日: 2015/04/08
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (1件) を見る
積率母関数の積率（モーメント）
まず確率変数の期待値
について考えます。期待値は確率変数
が取り得る値
とそれに対応する確率
の加重平均で表せます。（連続型確率変数の場合、確率密度関数
を用います。）
[離散型確率変数の場合]\begin{align}E[X] = \sum_{i=1}^{n} {x_i}{p_i} \end{align}
[連続型確率変数の場合]\begin{align}E[X] = \int_{-\infty}^{\infty} {x}{f(x)} dx \end{align}
次に分散V[X]を考えます。分散は期待値を用いて次のように表せます。
\begin{align}V[X] = E[(X - E[X])^2]\end{align}
この式は次のように簡単に表せます。
\begin{align}V[X] = E[(X - E[X])^2] &= E[X^2 - 2XE[X] + E[X]^2]\\ &= E[X^2] - 2E[X]^2 + E[X]^2\\ &= E[X^2] - E[X]^2\end{align}
他にも分布が正規分布からどれだけ歪んでいるかを表す歪度（わいど）や正規分布からどれだけ尖っているかを表す尖度（せんど）などもあります。
[歪度]\begin{align}\frac{E[(X - E[X])^3]}{D[X]^3}\end{align}
[尖度]\begin{align}\frac{E[(X - E[X])^4]}{D[X]^4} - 3\end{align}
確率分布は上にあげた期待値、分散、歪度、尖度を指定していくと、形が限定されていきます。ここで積率という概念を導入します。
[（xの原点周りの）k次の積率]\begin{align}\mu_k = E[x^k]\end{align}
[xの期待値周りのk次の積率]\begin{align}\nu_k = E[(x - E[x])^k]\end{align}
この式は分散、歪度、尖度を表す式でも出てきましたね。全ての次数の積率を指定することで、確率分布を一意に決定することができます。期待値、分散、歪度、尖度を積率で表すと以下のようになります。
[期待値]\begin{align}E[X] = \mu_1\end{align}
[分散]\begin{align}V[X] &= E[(X - E[X])^2] = \nu_2\\ &=E[X^2] - (E[X])^2 = \mu_2 - \mu_1^2\end{align}
[歪度]\begin{align}\frac{\mu_3 - 3\mu_2\mu_1 + 2\mu_1^3}{(\mu_2 - \mu_1^2)^\frac{3}{2}}\end{align}
[尖度]\begin{align}\frac{\mu_4 - 4\mu_3\mu_1 + 6\mu_2\mu_1^2 - 3\mu_1^4}{(\mu_2 - \mu_1^2)^2} - 3\end{align}
積率母関数
ようやく下準備が終わったので積率母関数について解説していきます。積率母関数は以下の式で定義されます。
[積率母関数]\begin{align}M_x(t) = E[e^{tx}] \end{align}
この式は、離散型確率変数、連続型確率変数のそれぞれの場合で、
[離散型]\begin{align}E[e^{tx}] = \sum_{x} e^{tx}f(x)\end{align}
[離散型]\begin{align}E[e^{tx}] = \int e^{tx}f(x)dx\end{align}
と表せます。これらが無限大に発散する場合、積率母関数は存在しません。
積率母関数の素晴らしいところは、「積率母関数の導関数にゼロを代入すると積率が得られる」という性質があることです。
\begin{align}M_x^{(k)}(0) = \mu_k\end{align}
これによって期待値や分散、k次の積率を楽に求めることができます。以下ではこの定理を証明していきたいと思います。
[証明] まず、を
に関して原点の周りでテイラー展開すると、
の
に関するk階微分は
であることから、
\begin{align}e^{tx} = 1 + tx + \frac{(tx)^2}{2!} + \frac{(tx)^3}{3!} + \cdots\end{align}
が得られます。この両辺の期待値をとれば、
\begin{align}E[e^{tx}] = M_x(t) = 1 + \mu_1t + \frac{\mu_2}{2!}t^2 + \frac{\mu_3}{3!}t^3 + \cdots\end{align}
が得られます。この両辺をtに関して微分すれば、
\begin{align}M_x'(t) &= \mu_1 + \mu_2t + \frac{\mu_3}{2!}t^2 + \frac{\mu_4}{3!}t^3 + \cdots\\ M_x''(t) &= \mu_2 + \mu_3t + \frac{\mu_4}{2!}t^2 + \frac{\mu_5}{3!}t^3 + \cdots\\ &\vdots\\ M_x^{(k)}(t) &= \mu_k + \mu_{k+1}t + \frac{\mu_{k+2}}{2!}t^2 + \frac{\mu_{k+3}}{3!}t^3 + \cdots\end{align}
が得られ、この式にゼロを代入すればが得られます。(Q. E. D.)
まとめ
今回は積率母関数についてまとめました。コードが全くない記事だったので次回は何かコーディングできたらと思います。
不備、誤った理解などがありましたらご指摘頂けたら幸いです。
参照: 積率と積率母関数 - TOKYO TECH OCW(pdfファイルです）
