적률생성함수

• 적률이란
• 적률생성함수(moment generating function, mgf)
  • 적률생성함수 특징
    • 적률생성함수 k번 미분 $\longrightarrow$ k차 비중심 적률
  • 균일 분포의 적률생성함수
  • 기하 분포의 적률생성함수
  • 이항 분포의 적률생성함수
  • 포아송 분포의 적률생성함수
  • 지수 분포의 적률생성함수
  • 베타 분포의 적률생성함수
  • 감마 분포의 적률생성함수
  • 카이제곱 분포의 적률생성함수
  • 정규 분포의 적률생성함수

적률이란

- 확률변수의 특징을 설명

- 확률변수 $X$의 $k$차 중심적률(central moment)을 $\mu_{k}$라 하면 $\mu_{k} = E[(X-\mu)^{k}]$

- $\mu_{1} = E(X) - \mu = 0$ ---> 확률변수 $X$의 $1$차 중심적률은 $0$

- $\mu_{2} = E[(X-\mu)^{2}]$ ---> 확률변수 $X$의 $2$차 중심적률은 분산

- $\mu_{3} = E[(X-\mu)^{3}]$ ---> 확률변수 $X$의 $3$차 중심적률은 왜도

- $\mu_{4} = E[(X-\mu)^{4}]$ ---> 확률변수 $X$의 $4$차 중심적률은 첨도

- 일반적인 확률 변수 $X$의 적률(moment)은 비중심(non-central)적률을 나타냄 $\longrightarrow$ $\mu'_{k} = E[X^k]$

- $\mu'_{k} = E[X^k] = \begin{cases}\text{이산확률변수 : }\sum\limits_{x}x^{k}f(x) \\ \text{연속확률변수 : }\int_{-\infty}^{\infty}x^{k}f(x)dx\end{cases}$

- $\mu'_{1} = \mu$

- $\sigma^{2} = \mu_{2} = \mu'_{2} - (\mu'_{1})^{2}$

- 모평균$\mu$는 확률변수 $X$의 1차 비중심적률

- 모분산$\sigma^{2}$은 확률변수 $X$의 2차 비중심적률에서 1차 비중심적률의 제곱을 뺀 값

- 참고 자료: 통계수학 강의

적률생성함수(moment generating function, mgf)

- 특정 확률 분포의 적률을 생성하는 함수

- 적률을 계산하려면 연속확률변수의 경우 적분을 하게 되는데 어렵거나 불가능한 경우도 있음 ---> 적률생성함수를 통해 계산 가능

- 임의의 확률변수 $X$의 기댓값이 존재한다면 $X$의 적률생성함수 $M_{X}(t) = E(e^{tX}),\; t \in \mathbb{R}$

- $M_{X}(t) = E(e^{tX}) = \begin{cases}\text{이산확률변수 : }\sum\limits_{x}e^{tx}f(x) \\ \text{연속확률변수 : }\int_{-\infty}^{\infty}e^{tx}f(x)dx\end{cases}$

- 확률변수 $X$의 기댓값을 구하는데 $X$가 아니라 $x$가 사용되네??

- $X$의 기댓값은 $X$가 가질 수 있는 값인 $x$들을 통해 구한다

- 사실 $x$말고 $k$라고 하든지 $a$라고 하든지 다른 변수를 사용해도 됨 ---> 마치 적분할 때 $\int x \,dx = \int t\, dt = \int a \,da$ 인 것 처럼

- 중요한건 확률변수가 가질 수 있는 값들을 가지고 기댓값을 구한다는 것 ---> 당연한 소리

- 확률변수 $X$가 가질 수 있는 모든값들을 구하고 이것들의 평균을 구하면 그게 확률변수의 기댓값(당연함)

- 참고: $X$는 확률변수, $x$는 확률변수 $X$가 가지는 값 ---> 이산확률변수는 $P(X=x)$, 연속확률변수는 $P(A\leq X\leq B)$

- 적률생성함수는 항상 존재하는 것이 아님

1. $e^{tX}$가 $t=0$근방에서 적분이 가능해야 함 $\;\;$

2. $\forall\, t \in \mathbb{R},\;\;E(e^{tX}) < \infty $

적률생성함수 특징

- 두 확률변수의 mgf가 일치하면 두 확률변수는 같은 분포를 가짐

- 적률생성함수를 $k$번 미분하고 $t=0$을 대입하면 확률변수 $X$의 $k$차 비중심 적률이다 ---> 왜???

적률생성함수 k번 미분 $\longrightarrow$ k차 비중심 적률

- $M_{X}(t) = E(e^{tX})$

- $\cfrac{d^{k}M_{X}(0)}{dt^{k}} = E(X^{k})$

- 매클로린 급수를 사용하자

- $e^{tX} = \sum\limits_{k = 0}^{\infty}\cfrac{X^k}{k!}(e^{tX})^{(k)}(0) = \cfrac{t^{0}}{0!}X^{0}+\cfrac{t^1}{1!}X^1+\cfrac{t^2}{2!}X^2+\cfrac{t^3}{3!}X^3+\dots$

- 양변에 기댓값을 취하면...

- $M_X(t)=E(e^{tX}) = 1 + tE(X) + \cfrac{t^2}{2!}E(X^2) + \cfrac{t^3}{3!}E(X^3)+\dots$

- 이제 양변을 t에 대해 미분하자

- $\cfrac{dM_X(t)}{dt} = 0 + E(X) + tE(X^2) + \cfrac{t^2}{2}E(X^3)+\dots$

- 이제 $t=0$을 대입하면...

- $\cfrac{dM_X(0)}{dt} = E(X)$ ---> 1번 미분하니 1차 적률이 구해짐

- 그럼 한 번 더 미분하면 2차 적률? ---> ㅇㅇ

- $\cfrac{d^2M_X(t)}{dt^2} = 0 + 0 + E(X^2) + tE(X^3)+\dots$

- 참고: $E(X)$는 $t$에 대하여 상수임

- 이제 $t=0$을 대입하면

- $\cfrac{d^2M_X(0)}{dt^2} = E(X^2)$

- 정말로 2번 미분하니 2차 적률이 구해졌다..

- 확률 분포에 대해 정리할 때 기댓값과 분산을 과정없이 결과만 적었었음

- 적률생성함수를 통해 여러가지 확률 분포의 기댓값과 분산을 구해보자

균일 분포의 적률생성함수

- 균일 분포의 확률 밀도 함수: $f(x) = \cfrac{1}{b-a}$

- 균일 분포의 적률생성함수

$\begin{aligned}M_X(t) &= E(e^{tX})\\[10pt] &= \int_{a}^{b}e^{tx}\frac{1}{b-a}dx \longrightarrow \text{확률변수$X$가 $a$부터 $b$까지의 값을 가진다는 뜻}\\[10pt] &= \frac{1}{b-a}\left[\frac{1}{t}e^{tx}\right]_{a}^{b}\\[10pt] &= \frac{e^{t}(e^{b}-e^{a})}{t(b-a)}\end{aligned}$

- 균일 분포의 기댓값 ---> 적률생성함수를 통해 구하는 것보다 1차 적률의 정의를 통해 구하는 것이 더 쉬움

$\begin{aligned}E(X) &= \int_{a}^{b}\frac{1}{b-a}x \;dx\\[10pt] &= \frac{1}{b-a}\left[\frac{x^2}{2}\right]_{a}^{b}\\[10pt] &= \frac{b^{2}-a^{2}}{2(b-a)}\\[10pt] &= \frac{a+b}{2}\end{aligned}$

- 균일 분포의 분산 ---> 적률의 정의를 통해 구하자 ---> 우선 2차 비중심 적률을 구하자

$\begin{aligned}E(X^2) &= \int_{a}^{b}\frac{1}{b-a}x^2 \;dx \\[10pt] &= \frac{1}{b-a}\left[\frac{x^3}{3}\right]_{a}^{b} \\[10pt] &= \frac{b^{3}-a^{3}}{3(b-a)} \\[10pt] &= \frac{a^2+ab+b^2}{3}\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2) - [E(X)]^2\\[10pt] &= \cfrac{a^2+ab+b^2}{3} - \bigg(\cfrac{a+b}{2}\bigg)^2\\[10pt] &= \cfrac{4(a^2+ab+b^2) \,- 3(a^2+2ab+b^2)}{12}\\[10pt] &= \frac{(b-a)^2}{12}\end{aligned}$

기하 분포의 적률생성함수

- 기하 분포의 확률 질량 함수: $f(x) = q^{x-1}p, \; q=1-p,\; x = 1, 2, 3,\dots$

- 첫째항이 $a$, 공비가 $r$인 무한등비수열의 합: $\frac{a}{1-r}, \; |r|<1$

- 기하 분포의 적률생성함수

$\begin{aligned}M_X(t) &= E(e^{tX}) \\[10pt] &= \sum\limits_{x=1}^{\infty}e^{tx}q^{x-1}p \\[10pt] &= \frac{p}{q}\sum\limits_{x=1}^{\infty}(qe^{t})^{x}, \quad -1 < qe^t < 1\\[10pt] &= \frac{pqe^t}{q(1-qe^t)} \\[10pt] &= \frac{pe^t}{1-qe^t},\quad t<-ln(1-p)\end{aligned}$

- 기하 분포의 기댓값

- 몫의 미분: $\bigg\{\cfrac{f(x)}{g(x)}\bigg\}' = \cfrac{f'(x)g(x)-f(x)g'(x)}{(g(x))^2}$

$\begin{aligned}E(X) &= \frac{dM_X(t)}{dt} \\[10pt] &= \frac{pe^{t}(1-qe^t)-pe^{t}(-qe^t)}{(1-qe^t)^2} \\[10pt] &= \frac{pe^t}{(1-qe^t)^2} ,\quad \text{$t=0$ 대입}\\[10pt] &= \frac{p}{(1-q)^2} \\[10pt] &= \frac{1}{p}\end{aligned}$

- 기하 분포의 분산

$\begin{aligned}E(X^2) &= \frac{d^2M_X(t)}{dt^2}\\[10pt] &= \frac{pe^{t}(1-qe^t)^2- 2pe^{t}(1-qe^{t})(-qe^t)}{(1-qe^t)^4}\\[10pt] &= \frac{pe^{t}(1-qe^t)((1-qe^t)+2qe^t)}{(1-qe^t)^4}\\[10pt] &= \frac{pe^{t}(1+qe^t)}{(1-qe^t)^3},\quad \text{$t=0$ 대입} \\[10pt] &= \frac{p(1+q)}{(1-q)^3}\\[10pt] &= \frac{1+q}{p^2}\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2) - [E(X)]^2 \\[10pt] &= \frac{1+q}{p^2} - \big(\frac{1}{p}\big)^2\\[10pt] &= \frac{q}{p^2}\end{aligned}$

이항 분포의 적률생성함수

- 이항 분포의 확률 질량 함수: $f(x) \,=\, _{n}\rm C_{x}\,p^{x}\,(1-p)^{n-x}$

- 이항 분포는 서로 독립이고 동일한 베르누이 분포를 따르는 확률변수들을 n개 합한 것임

- 베르누이 분포의 확률 질량 함수 $f(x) = p^{x}(1-p)^{1-x}, \; x = 0, 1$

- 베르누이 분포의 기댓값

$\begin{aligned}E(X) &= \sum\limits_{x=0}^{1}xp^{x}(1-p)^{1-x}\\[10pt] &= 0\cdot (1-p) + 1\cdot p \\[10pt] &= p\end{aligned}$

- 베르누이 분포의 분산

$\begin{aligned}E(X^2) &= \sum\limits_{x=0}^{1}x^2p^x(1-p)^{1-x}\\[10pt] &= 0\cdot (1-p) + 1\cdot p \\[10pt] &= p\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2)-[E(X)]^2\\[10pt] &= p - p^2\\[10pt] &= p(1-p)\end{aligned}$

- 확률변수 $X, Y$에 대해 $E(X + Y)= E(X) + E(Y)$

- 확률변수 $X, Y$가 독립이면 $Var(X + Y) = Var(X) + Var(Y)$

- 참고: 확률변수의 합 특징

- 이항 분포의 기댓값 ---> 이항 분포의 정의를 통해 구함: 베르누이 분포를 따르는 확률변수들의 합

$\begin{aligned}E(X) &= E\bigg(\sum\limits_{i=1}^{n}X_i\bigg) = \sum\limits_{i=1}^{n}E(X_i)\\[10pt] &= E(X_1) + E(X_2) + \dots+E(X_{n-1})+E(X_n)\\[10pt] &= \overbrace{p + \dots + p}^{n \rm\ times} = np\end{aligned}$

- 이항 분포의 분산 --> 기댓값과 마찬가지

$\begin{aligned}Var(X) &= Var\bigg(\sum\limits_{i=1}^{n}X_i\bigg) = \sum\limits_{i=1}^{n}Var(X_i)\\[10pt] &= Var(X_1)+Var(X_2)+\dots+Var(X_{n-1})+Var(X_n)\\[10pt] &= \overbrace{p(1-p)+\dots+p(1-p)}^{n \rm\ times} = np(1-p)\end{aligned}$

- 이항 정리

- $(x+y)^n = \sum\limits_{k=0}^{n}\binom{n}{k}x^{n-k}y^{k}$

- 이항 분포의 적률생성함수

$\begin{aligned}M_{X}(t) &= E(e^{tX})\\[10pt] &= \sum\limits_{x=0}^{n}\binom{n}{x}e^{tx}p^{x}\,(1-p)^{n-x}\\[10pt] &= \sum\limits_{x=0}^{n}\binom{n}{x}(pe^{t})^{x}\,(1-p)^{n-x}\\[10pt] &= (1-p+pe^{t})^n\end{aligned}$

- 이항 분포의 기댓값 ---> 적률생성함수 미분해서 구하기

- 합성함수의 미분

- $\big\{f(g(x))\big\}' = g'(x)f'(g(x))$

$\begin{aligned}E(X) &= \frac{dM_X(t)}{dt} \\[10pt] &= npe^t(1-p+pe^t)^{n-1},\quad\text{$t=0$ 대입}\\[10pt] &= np\end{aligned}$

- 곱의 미분

- $\big\{f(x)g(x)\big\}'=f'(x)g(x)+f(x)g'(x)$

- 이항 분포의 분산 ---> 적률생성함수 미분해서 구하기

$\begin{aligned}E(X^2) &= \frac{d^2M_X(t)}{dt^2}\\[10pt] &= npe^{t}\cdot(1-p+pe^t)^{n-1}+npe^{t}\cdot (n-1)pe^{t}(1-p+pe^{t})^{n-2},\quad \text{$t=0$ 대입}\\[10pt] &=np+np^{2}(n-1)\\[10pt] &= np-np^2+n^2p^2\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2)-[E(X)]^2\\[10pt] &= np-np^2+n^2p^2-(np)^2\\[10pt] &= np-np^2\\[10pt] &=np(1-p)\end{aligned}$

포아송 분포의 적률생성함수

- 테일러 급수 공부해라 구더기야 + 극좌표계도(희망) 하기 싫어..........

- 테일러 급수: 초월함수를 특정 값의 근방에서 멱함수로 근사시킴 ---> 개사기임

- $a$에서 $f$의 테일러 급수

$\begin{aligned}f(x) &= \sum\limits_{n=0}^{\infty}\frac{f^{(n)}(a)}{n!}(x-a)^{n}\\[10pt] &= f(a) + \frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2+\frac{f'''(a)}{3!}(x-a)^3+\cdots\end{aligned}$

- $a=0$인 특별한 경우 매클로린 급수라고 함

$\begin{aligned}f(x) &= \sum\limits_{n=0}^{\infty}\frac{f^{(n)}(0)}{n!}x^n\\[10pt] &= f(0) + \frac{f'(0)}{1!}x+\frac{f''(0)}{2!}x^2+\frac{f'''(0)}{3!}x^3+\cdots\end{aligned}$

- $e^x$의 매클로린 급수

- $e^x = \sum\limits^{\infty}_{n=0}\cfrac{x^n}{n!}$

- 포아송 분포의 확률 질량 함수: $f(x) = \cfrac{e^{-\lambda}\lambda^{x}}{x!}$

- 포아송 분포의 적률생성함수

$\begin{aligned}M_X(t) &= E(e^{tX})\\[10pt] &= \sum\limits_{x=0}^{\infty}e^{tx}\frac{e^{-\lambda}\lambda^{x}}{x!}\\[10pt] &=e^{-\lambda}\sum\limits_{x=0}^{\infty}\frac{(\lambda e^{t})^{x}}{x!} \quad \text{$\therefore\lambda e^t \to x,\quad x \to n$ 으로 바꾸면 $e^x$의 매클로린 급수이다}\\[10pt] &= e^{-\lambda}\cdot e^{\lambda e^{t}}\\[10pt] &= e^{\lambda(e^{t}-1)}\end{aligned}$

- 포아송 분포의 기댓값

- $e^{-\lambda}$ 는 변수가 아니므로 $e^{\lambda e^{t}}$ 에 대해서만 미분하면 된다

- $y =e^{t}, \; \frac{d}{dy}(y) = e^{t}$

$\begin{aligned}E(X) &= \frac{dM_X(t)}{dt} \\[10pt] &=e^{-\lambda}\cdot(e^{\lambda y})' \\[10pt] &= e^{-\lambda}\cdot\lambda e^{\lambda y}\cdot \frac{d}{dy}(y) \\[10pt] &= e^{-\lambda}\cdot\lambda e^{\lambda e^{t}}\cdot e^{t},\quad \text{$t=0$ 대입}\\[10pt] &= \lambda \cdot e^{-\lambda}\cdot e^{\lambda}\\[10pt] &= \lambda\end{aligned}$

- 포아송 분포의 분산

$\begin{aligned}E(X^2) &= \frac{d^2M_X(t)}{dt^2}\\[10pt] &= \lambda e^{-\lambda}\cdot\big([\lambda e^{\lambda e^{t}}\cdot e^{t}]\cdot [e^{t}] + [e^{\lambda e^{t}}]\cdot[e^{t}]\big), \quad \text{$t=0$ 대입}\\[10pt] &= \lambda e^{-\lambda}(\lambda e^{\lambda}+e^{\lambda})\\[10pt] &= \lambda^{2}+\lambda\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2)-[E(X)]^{2}\\[10pt] &= \lambda^{2}+\lambda - \lambda^{2}\\[10pt] &= \lambda\end{aligned}$

지수 분포의 적률생성함수

- 지수 분포의 확률 밀도 함수: $f(x) = \lambda e^{-\lambda x}, \; x>0$

- $\lambda$는 포아송 분포의 모수로 단위 시간당 사건의 평균 발생 횟수

- 지수 분포의 적률생성함수

$\begin{aligned}M_{X}(t) &= E(e^{tX})\\[10pt] &= \int_{0}^{\infty}e^{tx}\cdot\lambda e^{-\lambda x}\,dx\\[10pt] &= \lambda\int_{0}^{\infty}e^{tx}\cdot e^{-\lambda x}\,dx\\[10pt] &= \lambda\int_{0}^{\infty}e^{(t-\lambda)x}\,dx\\[10pt] &= \frac{\lambda}{t-\lambda}\cdot\left[e^{(t-\lambda) x}\right]_{0}^{\infty}, \;\;\;(t<\lambda)\\[10pt] &= \frac{\lambda}{\lambda - t}\end{aligned}$

- 지수 분포의 기댓값

$\begin{aligned}E(X) &= \frac{dM_X(t)}{dt}\\[10pt] &= \frac{\lambda}{(\lambda - t)^2}, \quad \text{$t=0$ 대입}\\[10pt] &= \frac{1}{\lambda}\end{aligned}$

- 지수 분포의 분산

$\begin{aligned}E(X^2) &= \frac{d^2M_X(t)}{dt^2}\\[10pt] &= -\frac{-2\lambda(\lambda-t) }{(\lambda-t)^4}\\[10pt] &= \frac{2\lambda}{(\lambda - t)^3}, \quad\text{$t=0$ 대입}\\[10pt] &= \frac{2}{\lambda^2}\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2) - [E(X)]^2\\[10pt] &= \frac{2}{\lambda^2} - \bigg(\frac{1}{\lambda}\bigg)^2\\[10pt] &= \frac{1}{\lambda^2}\end{aligned}$

베타 분포의 적률생성함수

- 베타 분포의 확률 밀도 함수: $f(x)=\cfrac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}, \quad 0\leq x \leq1, \;(\alpha , \beta>0)$

- 베타 분포의 적률생성함수

$\begin{aligned}M_t(x)&=E(e^{tX})\\[10pt] &=\int_{0}^{1}\frac{1}{B(\alpha, \beta)}e^{tx}x^{\alpha-1}(1-x)^{\beta-1}\;dx\\[10pt] &=\int_{0}^{1}\frac{1}{B(\alpha, \beta)}\left(\sum\limits_{k=0}^{\infty}\frac{t^k x^{k-1}}{k!}\right)x^{\alpha-1}(1-x)^{\beta-1}\;dx\\[10pt] &=\sum\limits_{k=0}^{\infty}\int_{0}^{1} \frac{1}{B(\alpha, \beta)}\frac{t^k}{k!}x^{\alpha+k-1}(1-x)^{\beta-1}\;dx\\[10pt] &=\sum\limits_{k=0}^{\infty}\left[\int_{0}^{1}\frac{B(\alpha +k,\beta)}{B(\alpha, \beta)}\frac{1}{B(\alpha+k,\beta)}\frac{t^k}{k!}x^{\alpha+k-1}(1-x)^{\beta-1}\;dx\right]\\[10pt] &=1+\sum\limits_{k=1}^{\infty}\left[\frac{B(\alpha +k,\beta)}{B(\alpha, \beta)}\frac{t^k}{k!}\int_{0}^{1}\frac{1}{B(\alpha+k,\beta)}x^{\alpha+k-1}(1-x)^{\beta-1}\;dx\right]\\[10pt] &=1+\sum\limits_{k=1}^{\infty}\left[\frac{\Gamma(\alpha +k)}{\Gamma(\alpha+ \beta+k)}\frac{\Gamma(\alpha +\beta)}{\Gamma(\alpha)}\frac{t^k}{k!}\right]\\[10pt] &=1+\sum\limits_{k=1}^{\infty}\left[\prod\limits_{i=0}^{k-1}\frac{\Gamma(\alpha +i)}{\Gamma(\alpha+ \beta+i)}\frac{t^k}{k!}\right]\end{aligned}$

- 베타 분포의 기댓값 ---> 적률생성함수를 통해 구하는 것보다 1차 적률의 정의를 통해 구하는 것이 더 쉬움

- 베타 분포의 $f(x)$를 적분하면 $1$이다

- 그런데 $f(x)$가 아닌 $xf(x)$를 적분함 ---> $x^{\alpha-1} \to x^{\alpha}$

- 원래는 성공횟수가 ${\alpha-1}$, 실패횟수가${\beta-1}$인 베타분포인데 성공횟수가 ${\alpha}$, 실패횟수가${\beta-1}$로 바뀌었음

- 그런데 어차피 베타분포는 확률 밀도 함수이므로 정의역구간을 적분하면 $1$이므로 상관없다 ---> 하지만 바뀐 베타분포의 상수(베타 함수)가 아닌 기존 베타분포의 상수가 곱해져있는데???

- 어차피 상수는 적분에 영향을 주지 못하니까 상수항은 임의로 맞춰주면 된다

$\begin{aligned}E(X) &= \int_{0}^{1}x\frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}\;dx\\[10pt] &=\frac{1}{B(\alpha, \beta)}\int_{0}^{1}x^{\alpha}(1-x)^{\beta-1}\;dx \quad \text{$\therefore\frac{1}{B(\alpha+1, \beta)}$을 곱해주어 베타 분포를 만들자}\\[10pt] &=\frac{B(\alpha+1, \beta)}{B(\alpha, \beta)}\int_{0}^{1}\frac{1}{B(\alpha+1, \beta)}x^{\alpha}(1-x)^{\beta-1}\;dx \\[10pt] &=\frac{B(\alpha+1, \beta)}{B(\alpha, \beta)}\cdot 1\\ &=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\cdot\frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha + \beta+1)}\quad \text{$\therefore$ 감마함수의 성질: $\Gamma(\alpha+1) = \alpha\Gamma(\alpha)$}\\[10pt] &=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\cdot\frac{\alpha\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta)\Gamma(\alpha + \beta)}\\[10pt] &=\frac{\alpha}{\alpha+\beta}\end{aligned}$

- 베타 분포의 분산 ---> 적률의 정의를 통해 구하자 ---> 우선 2차 비중심 적률을 구하자

- 베타 분포의 기댓값을 구할 때와 같은 방법을 사용하자

$\begin{aligned}E(X^2) &= \int_{0}^{1}x^{2}\frac{1}{B(\alpha, \beta)}x^{\alpha-1}(1-x)^{\beta-1}\;dx\\[10pt] &=\frac{1}{B(\alpha, \beta)}\int_{0}^{1}x^{\alpha+1}(1-x)^{\beta-1}\;dx \quad \text{$\therefore\frac{1}{B(\alpha+2, \beta)}$을 곱해주어 베타 분포를 만들자}\\[10pt] &=\frac{B(\alpha+2, \beta)}{B(\alpha, \beta)}\int_{0}^{1}\frac{1}{B(\alpha+2, \beta)}x^{\alpha+1}(1-x)^{\beta-1}\;dx \\[10pt] &=\frac{B(\alpha+2, \beta)}{B(\alpha, \beta)}\cdot 1\\[10pt] &=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\cdot\frac{\Gamma(\alpha+2)\Gamma(\beta)}{\Gamma(\alpha + \beta+2)} \quad \text{$\therefore\Gamma(\alpha+1) = \alpha\Gamma(\alpha)$}\\[10pt] &=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\cdot\frac{\alpha(\alpha+1)\Gamma(\alpha)\Gamma(\beta)}{(\alpha+\beta+1)(\alpha+\beta)\Gamma(\alpha + \beta)}\\[10pt] &=\frac{\alpha(\alpha+1)}{(\alpha+\beta)(\alpha+\beta+1)}\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2) - [E(X)]^2\\[10pt] &=\frac{\alpha(\alpha+1)}{(\alpha+\beta)(\alpha+\beta+1)} - \bigg(\frac{\alpha}{\alpha+\beta}\bigg)^{2}\\[10pt] &= \frac{\alpha}{\alpha+\beta}\bigg(\frac{\alpha+1}{\alpha+\beta+1}-\frac{\alpha}{\alpha+\beta}\bigg)\\[10pt] &=\frac{\alpha}{\alpha+\beta}\bigg(\frac{(\alpha+1)(\alpha+\beta)}{(\alpha+\beta)(\alpha+\beta+1)}-\frac{\alpha(\alpha+\beta+1)}{(\alpha+\beta)(\alpha+\beta+1)}\bigg)\\[10pt] &=\frac{\alpha}{\alpha+\beta}\cdot\frac{\beta}{(\alpha+\beta)(\alpha+\beta+1)}\\[10pt] &=\frac{\alpha\beta}{(\alpha+\beta)^{2}(\alpha+\beta+1)}\end{aligned}$

감마 분포의 적률생성함수

- 감마 분포의 확률 밀도 함수: $f(x) = \cfrac{1}{\beta^{\alpha}\Gamma(\alpha)}x^{\alpha - 1}e^{-\frac{x}{\beta}},(x,\alpha, \beta \geq 0)$

- 감마 함수: $\Gamma(\alpha) = \int_{0}^{\infty}x^{\alpha-1}e^{-x}dx,\,\alpha \geq 0$

- 감마 함수를 살짝 변형하면 $\int_{0}^{\infty}\cfrac{1}{\Gamma(\alpha)}x^{\alpha-1}e^{-x}dx = 1$

- 위의 식을 감마 분포의 적률생성함수를 구하는데 사용할 것임

- 감마 분포의 적률생성함수 ---> $t=0$ 근방임을 잊지말자

$\begin{aligned}M_X(t) &= E(e^{tX})\\[10pt] &= \int_{0}^{\infty}\frac{1}{\beta^{\alpha}\Gamma(\alpha)}x^{\alpha - 1}e^{-\frac{x}{\beta}}e^{tx}\;dx\quad \text{$\therefore$ 감마함수의 적분을 이용하기 위해 치환}\\[10pt] &= \frac{1}{\beta^\alpha}\int_{0}^{\infty}\frac{1}{\Gamma(\alpha)}x^{\alpha - 1}e^{\Big(t-\frac{1}{\beta}\Big)x}\;dx \quad \text{$\therefore\bigg(t-\frac{1}{\beta}\bigg)x=-y,\quad dx=\frac{\beta}{1-\beta t}dy$}\\[10pt] &= \frac{1}{\beta^\alpha}\int_{0}^{\infty}\frac{1}{\Gamma(\alpha)}\bigg(\frac{\beta}{1-\beta t}y\bigg)^{\alpha - 1}e^{-y}\frac{\beta}{1-\beta t}\;dy \quad \text{$\therefore x=\frac{\beta}{1-\beta t}y,\;x=0\to y=0,\;x=\infty\to y=\infty,\;\bigg(t<\frac{1}{\beta}\bigg)$}\\[10pt] &= \frac{1}{\beta^\alpha}\bigg(\frac{\beta}{1-\beta t}\bigg)^{\alpha}\int_{0}^{\infty}\frac{1}{\Gamma(\alpha)}y^{\alpha - 1}e^{-y}\;dy \quad\text{$\therefore \int_{0}^{\infty}\frac{1}{\Gamma(\alpha)}y^{\alpha-1}e^{-y}dy = 1$, 위에 참고}\\[10pt] &=\bigg(\frac{1}{1-\beta t}\bigg)^{\alpha}, \quad t<\frac{1}{\beta}\end{aligned}$

- 감마 분포의 기댓값

$\begin{aligned}E(X) =& \frac{dM_X(t)}{dt} \\[10pt] &=\alpha\bigg(\frac{1}{1-\beta t}\bigg)^{\alpha-1}\cdot\frac{d}{dt}\bigg(\frac{1}{1-\beta t}\bigg)\\[10pt] &=\alpha\bigg(\frac{1}{1-\beta t}\bigg)^{\alpha-1}\cdot\frac{\beta}{(1-\beta t)^2}\\[10pt] &=\frac{\alpha\beta}{(1-\beta t)^{\alpha+1}},\quad \text{$t=0$ 대입}\\[10pt] &=\alpha\beta\end{aligned}$

- 감마 분포의 분산

$\begin{aligned}E(X^2) &= \frac{d^2M_X(t)}{dt^2}\\[10pt] &= \alpha\beta\frac{\beta(\alpha+1)(1-\beta t)^{\alpha}}{(1-\beta t)^{2\alpha+2}}\\[10pt] &= \frac{\alpha\beta^{2}(\alpha+1)}{(1-\beta t)^{\alpha+2}}, \quad\text{$t=0$ 대입}\\[10pt] &= \alpha\beta^{2}(\alpha+1)\end{aligned}$

$\begin{aligned}Var(X) &= E(X^2) - [E(X)]^2\\[10pt] &= \alpha\beta^{2}(\alpha+1) - (\alpha\beta)^{2}\\[10pt] &= \alpha\beta^{2}(\alpha+1)-\alpha^2\beta^2\\[10pt] &= \alpha\beta^2\end{aligned}$

카이제곱 분포의 적률생성함수

- 카이제곱 분포의 확률 밀도 함수: $f(x) = \dfrac{1}{2^\frac{k}{2}\Gamma\big(\frac{k}{2}\big)}x^{\frac{k}{2}-1}e^{-\frac{x}{2}}$

- $k$는 자유도

- 감마 분포에서 $\alpha=\frac{k}{2}, \beta = 2$인 경우 카이제곱 분포라고 했음

- 그렇기에 감마분포의 평균, 분산, 적률생성함수에 $\alpha=\frac{k}{2}, \beta = 2$를 대입하여 카이제곱 분포의 평균, 분산, 적률생섬함수를 구할 수 있음(내 생각)

- 카이제곱 분포의 적률생성함수

$\begin{aligned}M_X(t) &= \bigg(\frac{1}{1-\beta t}\bigg)^{\alpha}, \quad t<\frac{1}{\beta},\quad \text{$\alpha=\frac{k}{2},\; \beta = 2$ 대입}\\[10pt] &=\bigg(\frac{1}{1-2t}\bigg)^\frac{k}{2}\end{aligned}$

- 카이제곱 분포의 기댓값

- $E(X) = \alpha\beta= k,\quad\text{$\alpha=\frac{k}{2},\; \beta = 2$ 대입}$

- 카이제곱 분포의 분산

- $Var(X) = \alpha\beta^2=2k,\quad\text{$\alpha=\frac{k}{2},\; \beta = 2$ 대입}$

정규 분포의 적률생성함수

- 정규 분포의 확률 밀도 함수: $f(x) = \cfrac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}}$

- 완전제곱식 생성: $x^2-ax=\big(x-\frac{a}{2}\big)^2-\frac{a^2}{4}$

- 정규 분포의 적률생성함수

$\begin{aligned}M_X(t) &= E(e^{tX})\\[10pt] &= \int_{-\infty}^{\infty}e^{tx}\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}}\;dx\\[10pt] &=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\dfrac{x^2-2(\mu+\sigma^{2}t)x+\mu^2}{2\sigma^{2}}}\;dx\\[10pt] &=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\dfrac{(x-\mu-\sigma^{2}t)^2-(\mu+\sigma^2t)^2+\mu^2}{2\sigma^{2}}}\;dx\\[10pt] &=e^{\mu t+\frac{\sigma^2 t^2}{2}}\cdot\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\dfrac{(x-\mu-\sigma^{2}t)^2}{2\sigma^2}}\;dx\\[10pt] &=e^{\mu t+\frac{\sigma^2 t^2}{2}}\quad\text{$\therefore$ 평균이 $\mu+\sigma^{2}t$이고 표준편차가 $\sigma$인 정규분포이므로 적분값은 $1$}\end{aligned}$

- 정규 분포의 기댓값

$\begin{aligned}E(X) &= \frac{dM_X(t)}{dt} \\[10pt] &= (\mu + \sigma^2 t)e^{\mu t+\frac{\sigma^2 t^2}{2}}, \quad \text{$t=0$ 대입}\\[10pt] &=\mu\end{aligned}$

- 정규 분포의 분산

$\begin{aligned}E(X^2) &= \frac{d^2M_X(t)}{dt^2}\\[10pt] &=\sigma^{2}e^{\mu t+\frac{\sigma^2 t^2}{2}}+(\mu+\sigma^2 t)^2e^{\mu t+\frac{\sigma^2 t^2}{2}}, \quad\text{$t=0$ 대입}\\[10pt] &=\sigma^2+\mu^2\end{aligned}$

$\begin{aligned}Var(X)&=E(X^2)-[E(X)]^2\\[10pt] &=\sigma^2+\mu^2-(\mu)^2\\[10pt] &=\sigma^2\end{aligned}$