[2-1/2-2] Discrete Distribution, pmf, moment, mgf

목차

1. Discrete Random Variable and Probability Distribution 이산확률변수와 확률 분포 
   1. Discrete random variable 이산확률변수 
   2. Indicator function 
   3. $갑자기?$ Maclaurin Series 
   4. PMF $Probability Mass Function$ 확률 질량 함수 
   5. Support $set$
   6. Cumulative Distribution Function
2.  Expectations and Momentums 기댓값과 모멘텀
   1. Expectation $=Mean$
   2. 기댓값이 만족시키는 성질 
   3. Moment
   4. Variance 분산
   5.  Moment generating function $MGF$

Discrete Random Variable and Probability Distribution 이산확률변수와 확률 분포 

현실 세계의 사건에 대해 확률을 계산하기 위해서는, 언어적이고 추상적인 사건을 구체적인 숫자에 대응시킬 무언가가 꼭 필요하다. 다시말해 사건 A가 일어날 확률을 계산하려면, 모든 사건은 일정한 규칙에 따라 각각 하나의 실수에 대응되어야 한다. 확률변수 X $Random variable$ 란, 사건 A 에 대하여 임의의 실수 하나를 대응시켜주는 real-valued function을 의미한다. 

사건 A가 일어날 확률은, 사건A에 대응되는 실수 X$A$가 집합 B에 포함될 확률로 구한다. $$P\left ( X\in B \right ) = P\left [ \left\{ \ s \in S : X(s) \in B\right\} \right ]$$

Discrete random variable 이산확률변수 

X의 range가 countable 일때. 확률변수가 대응시킨 실수들이 셀수 있을때 $finite or infinitely countable$ 

Indicator function 

$$I(x \in A) = I_A (x) = \begin{cases}  1& \text{for } x \in A \\   0& \text{otherwise }  \end{cases}$$

$갑자기?$ Maclaurin Series 

매클로린 시리즈는 0에서 정의된 테일러 시리즈이다. 

Taylor Series : \$g(y$ = \sum_{i=0}^{\infty}\frac{g^n$a$}{n!}$y-a$^n\)

Maclaurin Series : \$g(y$ = \sum_{i=0}^{\infty}\frac{g^n$0$}{n!}y^n\)

매클로린 시리즈의 수렴구간은 비판정법에 의해 결정된다.\( |y| < \frac{1}{K} $여기서$K = \lim_{x \to \infty}\frac{a_{n+1}}{a_n}\)  이다. 

첫번째로, 지수함수 Exp$x$의 매클로린 급수는 아래와 같다. 

$$e^y =  \sum_{i=0}^{\infty}\frac{g^n(0)}{n!}y^n =  \sum_{i=0}^{\infty}\frac{y^n}{n!}$$

\$g^n(0$ = 1 \)이기 때문이다. 수렴구간은 실수 전 집합이다. 

다음은 Geometric Series 이다.

$$\frac{1}{(1-y)} =  \sum_{i=0}^{\infty}\frac{g^n(0)}{n!}y^n =  \sum_{i=0}^{\infty}y^n$$

\$g^n(0$ = n! \) 이기때문에 아래 n!과 약분이 된다. 이 경우에 수렴구간은 \(|y| <1\)이다. 

마지막으로, Negative Binomial Series이다.  

$$\frac{1}{(1-y)^r} =  \sum_{i=0}^{\infty}\frac{g^n(0)}{n!}y^n =  \sum_{i=0}^{\infty}\binom{n+r-1}{n}y^n$$

이 경우엔 \$g^n(0$ = \frac{$n+r-1$!}{$r-1$!}\) 인데, 아래에 있는 n! 과 합쳐지면 \(\frac{$n+r-1$!}{$r-1$!n!} = \binom{n+r-1}{n}\)이 된다. 수렴구간은 \(|y| <1\)이다. 

PMF $Probability Mass Function$ 확률 질량 함수 

확률 질량 함수란, 이산 확률 변수 X에 확률을 할당해주는 함수를 의미한다. $f(x) = P(X = x)$

어떤 함수 f 가 확률변수 X의 pmf가 되기 위해선 다음 세조건을 만족시켜야한다. $앞 두조건은 pmf의 기본 정의, 세번째는 X의  pmf이기 위한 조건$

1. \$f(x$ \geq 0\)

2.\$\sum f(x$ = 1\)

3.\$P(X \in  A$ = \sum_{x \in A} f$x$ \) : 직관적으로 잘 이해가 안되는 문장... 질문하기 

Support $set$

pmf f$x$가 항상 0보다 크거나 같게하는 x의 집합을 Support of X라고 한다. pmf의 도메인과 같은 개념 

Cumulative Distribution Function

$$F(x) = P(X \leq x)$$

구간별로 누적되는 함수이므로, pmf가 점차 쌓여가는 함수이다. Step function with jumps of size f$x$ for \$x \in S(x$\)

 Expectations and Momentums 기댓값과 모멘텀

Expectation $=Mean$

기댓값 $expectation  value$ 와 평균$Mean$은 같은 의미로, 표기법만 다르다. Expectation 은 E$x$로 표기하고, Mean은 \(\mu\)로 표기한다. 

$$E(x) = \mu  = \sum x f(x)$$

Expectation 은 비단 x에 대해서만 구할 수 있는 것이 아니고, 일반적인 함수 g$x$에 대해서도 계산할 수 있다. 예를 들어 물리학에서 위치의 기댓값 뿐만아니라, 운동량이나 헤밀토니안등의 물리량의 Expectation value를 계산하는 경우를 아주 자주 볼 수 있다.

Expectation of g$X$  $$E[g(X)] = \sum g(x)f(x)$$

기댓값이 만족시키는 성질 

1. E$c$  = c 상수의 평균은 상수

2. E[ c g$X$ ]  = c E[g$X$] 상수 곱은 그대로 적용

3.선형성 : \$E[c_1 g_1(X$ + c_2g_2$X$] = c_1E[g_1$X$] + c_2E[g_2$X$]\)  이고, 이는 N개에 대해서도 당연히 성립한다. 

Moment

rth Moment of X :  \(\mu_{r}^{'} = E[X^r]$ : X의 r번째 모멘텀은 확률변수 X의 r제곱의 평균으로 정의한다. $이 제곱의 평균이 뒤에서 자주 쓰이기 때문에 정의해둔다.$ 

rth central moment of X  : \$\mu_{r} = E[(X-\mu$^r]\) 

rth factorial moment of X : \$\mu_{r} = E[X(X-1$$X-2$ ... $X-r +1$]$ : discrete에서 많이 쓴다. 

Variance 분산

$$Var(X) = E[(X-\mu)^2] = \sigma^2$$

로 정의한다. 이때 시그마는 Standard deviation 표준편차를 의미한다. \(\sigma = \sqrt{Var$X$}\) 또한

$$Var(x) = E[X^2] - \mu^2$$ 으로 정의한다. 

Proof : $$E[(X-\mu)^2] = E[X^2 - 2\mu X + \mu^2] = E[X^2] - 2 E(X)\mu + \mu^2 = E[X^2] - \mu^2$$

또 다음이 성립한다. 
E$aX+b$ =\$aE(X$+b\)

Var$aX+b$ = \$a^2 Var(X$\)

\$\sigma (aX+b$ = a \sigma\)

 Moment generating function $MGF$

M$t$ 로 보통 적는다. M$t$ = $E(e^{tX})$ 이고, 0을 포함하는 구간 \(-h<t<h$에서 정의된다. 

우리는 0 근방에서 M$t$가 t에 대해 무한정으로 미분이 가능함을 알 수 있다. M$t$를 r번 t에 대해 미분하면 그 값은 \$E(X^r e^{tX}$\) 일 것이다. 여기서 t에 0을 대입하면, 값은 $E(X^r)$이 된다. 바로 위에서 봤던 rth moment of X 이다.

  $$M^r(0) = E[X^r e^{tX}]_{t=0} = E[X^r] = \mu_{r}^{'}$$

이래서 mgf라는 이름이 붙었구나싶다. 

또한 M$t$의 정의에 따라 $$M(t) = E[e^{tX}] = \sum_{k=1}^{\infty}e^{tx_k}f(x_k) =\sum_{k=1}^{\infty}{p_k} e^{tX}$$

이고, 우리는 mgf로부터 역으로 pmf를 구할 수 있다. $대박$

예를 들어 mgf 가 아래와 같은 함수가 있다고 하자. 

$$M(t) = \frac{e^t}{2-e^t}$$ where $t<ln2$

모든 mgf 가 pmf와 exp항의 곱으로 전개될 수 있는 것은 아니지만, 이 mgf는 아래와 같이 geometric series로 전개가 가능하다. 

\(\frac{e^t}{2}$에 대해 매클로린 급수 전개를 진행하면 

$$\frac{\frac{e^t}{2}}{1-\frac{e^t}{2}} = \frac{e^t}{2}(1+\frac{e^t}{2} + (\frac{e^t}{2})^2+(\frac{e^t}{2})^3+ ...)$$

이를 다음과 같이 정리할 수 있다. 

$$= \frac{1}{2}e^t +(\frac{1}{2})^2e^{2t} + ... = \sum_{k=1}^{\infty} (\frac{1}{2})^k e^{tk}$$  

따라서 우리가 찾는 pmf는 

$$\sum_{k=1}^{\infty} p_k e^{tk}= \sum_{k=1}^{\infty} (\frac{1}{2})^k e^{tk}$$

$$f(x) = (\frac{1}{2})^k$$

 

위에 예시에서, 확률변수 X는 동전을 4번 던졌을때 나오는 앞면의 횟수이므로,  f$k$는 앞면이  k 번 나올때의 확률을 의미한다. M$t$를 구해주면 \$e^{tX}\) 의 평균을 구해주면 되는 것이고, 그렇게 얻은 mgf는 우리가 E(X$가 필요할때는 한번 미분해서 t=0 넣고, Var$X$가 필요할 때는 두번미분해서 얻은 모멘트와 평균의 제곱을 빼서 구한다.