[1-1 / 1-2] Probability

목차

1. Algebra of Sets $집합의 대수학$ 
   1. laws
2. Basics of Probability Theory
   1. A random experiment  $3 conditions$
3. 기본 용어 및 개념
   1. Axiom of probability $kolmogorov$
4. 확률의 몇가지 성질들 
5. Methods of Enumeration
   1. Sampling의 종류 $4가지 + a$ 
      1. Sampling without Replacement Ordered $순열$ : Permutation \(_{n}P_{r} = \frac{n!}{$n-r$!} \)
      2. Sampling with Replacement Ordered$중복순열$ : \(n^r\)
      3. Sampling without Replacement  Unordered$조합$ : Combination
      4. Sampling with Replacement Unordered $중복조합$
   2. Equally Likely 하지 않은 경우의 확률은 각각 구해준다
6. Conditional Probability
   1. Conditional Probability 
      1. three axioms 
      2. Multiplication rule $조건부확률의 곱의 법칙$ 
7. Independant Events
   1. "확률적" 독립이란
      1. If A and B is independant, following three are independant
      2. If \(A_1, A_2 , ... , A_n\) are independant
8. Bayes' Theorem
   1. Partition 
   2. Total Probability theorem
   3. Bayes' theorem $how to calculate the posterior probability$ 

Algebra of Sets $집합의 대수학$ 

대수학이란? 일련의 공리들을 만족하는 수학적 구조들의 일반적인 성질을 연구하는 수학의 한 분야 $위키백과$ 를 의미한다. 집합의 대수학이라 함은 집합이라는 대상과, 집합이 만족하는 성질들에 대한 학문을 의미할 것이다. 

universal set : 상상할 수 있는 모든 요소의 집합 $set of all elements under consideration$

subset : \(A \subset B\)  이면 A는 B의 Subset 부분집합 이라고 한다. 

empty set : 아무런 요소가 없는 집합. 공집합 \( \phi \)

complement : \(A^c\) Set of points that are in S but not in A 

union : \( A \cup B\) set of points that are in A or B 

intersection : \(A \cap B\) set of points that are in both A and B 

mutually exclusive $disjoint$  : If \$A \cap B = \phi\) then, A and B are mutually exclusive (=disjoint$ 

laws

Commutative laws : 교환 법칙 \(A \cup B = B \cup A\)

Associative laws : 결합 법칙  \$A\cap(B \cap C$ = $A \cap B$ \cap C\)

Distributive laws : 분배 법칙  \$A\cap(B \cup C$ = $A\cap B$ \cup $A\cap C$\)

DeMorgan's laws : 드모르간의 법칙 \$(A \cap B$^c = A^c \cup B^c\)

Basics of Probability Theory

A random experiment  $3 conditions$

• 모든 가능한 결과가 알려져있다. $all possible outocomes of the experiment are known.$
• 결과 예측을 할 수 없어야 한다. $the outcome can't be predicted with cerntainty before the experiment is performed.$ 
• 동일조건 하 반복가능해야 한다. $the experiment can be repeated under indentical conditions.$

기본 용어 및 개념

Sample Space : Set of all possible outcomes of a random experiment

Event : subset of sample space 

Discrete sample space $tossing a die$ : the number of element of sample space is countable $finite or infinitely countable$ : 각 Event에 확률을 할당 할 수 있음

Continuous sample space $random select from the interval$ : the number of element of sample space is uncountable : Compound events $interval$에 확률을 할당함. 각  Event에 확률을 할당할 수 없음 $할당하는 순간 P의 합은 발산함 -> Normalization 위배$

Finite 은 Countable의 부분집합.

Function \$f(x$ : A \to B\) : assign each \(x \in A\) to an unique element \$f(x$ \in B\)

• Domain : A 정의역
• Range : set of output values f$x$ 치역
• Real valued function : Range is real number set 
• Set function : Domain이 collection of sets 인  Real valued function  

Axiom of probability $kolmogorov$

: 확률$Probability$은 Set function이다. Sample Space 가 정의역 $Event A의 집합$ ,  Range 는 [0,1] 구간의 실수. 아래 세 조건을 만족시키면 확률이다. 

• \$P(A$ \geq 1 \)
• \$P(S$ = 1\)
• Countable Additivity \[P\left [ \bigcup_{i = 1}^{\infty}A_i\right ] = \sum_{i=1}^{\infty}P$A_i$]\

확률의 몇가지 성질들 

• \$P(A^c$ = 1 - P$A$\)
• \$P(\phi$ = 0\)
• \$A \subset B \to P(A$ \leq P$B$\)
• \$P(A\cup B$ = P$A$ + P$B$ - P$A \cap B$\)
• Inclusive-Exclusive formula \[P$A\cup B\cup C$ = P$A$+P$C$+P$C$-P$A\cap B$-P$B\cap C$-P$A\cap C$+P$A\cap B\cap C$ ]\

Methods of Enumeration

Equally Likely : 각 Event의 확률이 모두 같을 때$same P of occuring$ Equally Likely라고 한다. $$P(A) = \frac{k}{n} = \frac{N(A)}{N(S)}$$

Multiplication rule : 곱의 법칙  $two coins ,  two dices : 경우의수는 (2$$2$$6$$6$)

Ordered sample : order of selection is noted. 뽑는 순서가 있다.  

With replacement : 복원. 공을 뽑아 확인한 뒤 다시 항아리에 넣어 두는 경우. 

Sampling의 종류 $4가지 + a$ 

Sampling without Replacement Ordered $순열$ : Permutation \(_{n}P_{r} = \frac{n!}{$n-r$!} \)

Sampling with Replacement Ordered$중복순열$ : \(n^r\)

 Birthday problem : 한 반에 r명의 학생이 있을 때, 모두 생일이 다를 확률 $2월 29일생, 윤년 고려 X$ $$\left ( 1-\frac{1}{365} \right )\times\left ( 1-\frac{2}{365} \right )\times ... \times \left ( 1-\frac{r-1}{365} \right ) = \prod_{r-1}^{k =1}\left ( 1-\frac{k}{365} \right ), r \geq 2$$

Sampling without Replacement  Unordered$조합$ : Combination

\(_{n}C_{r}=\frac{n!}{$n-r$! r!}=\binom{n}{r}\)

Binomial theorem : \$(x+y$^n = \sum_{r = 0}^{n}\binom{n}{r}x^r y^{n-r}\)

urn contains 5 red, 3 green, 2 blue and 4 white balls. sample of size 8 is selected at random without replacement. The probability that sample contain $2,2,1,3$

• \[\frac{\binom{5}{2}\binom{3}{2}\binom{2}{1}\binom{4}{3}}{\binom{14}{8}}]\

\$(1-1$^n \) and \$(1+1$^n\)

• \$(1-1$^n = \sum_{r=0}^{n}\binom{n}{r}$-1$^r = 0\)
• \$(1+1$^n = \sum_{r=0}^{n}\binom{n}{r} = 2^n\)

---

Pascal's Triangle : N명 중에 r명이 총에 맞는다 하자. 전체 sample space는 두개로 분류할 수 있다. 내가 걸리느냐 안걸리느냐. 내가 걸리지 않는 경우의 수는 다시말해 나 빼고 N-1명중 r 명을 고르는 경우의 수이므로 \(\binom{n-1}{r}\) 이다. 내가 걸리는 경우의 수는, 다시 말해 나를 뽑은 상태에서 남은 n-1명 중 r-1명을 뽑는 경우의 수이므로 \(\binom{n-1}{r-1}\)이다. 즉 \(\binom{n}{r} = \binom{n-1}{r} + \binom{n-1}{r-1}\) 이다. 

• 여기서 n과 r에 차례대로 0부터의 수를 대입해보면 아래 파스칼의 삼각형이 나온다.

---

Distinguishable Permutation $같은 것이 있는 순열$ : 공이 총 n개가 있는데 같은 종류의 공이 각각 r1개, r2개 ,... , rk개 가 있다. \(r_1 + r_2 _+ ... + r_ k  = n\) 이때, Distinguishable permutation은 전체 배열의 경우의 수 n! 에서 각각의 같은 종류 애들에 의한 구분을 없애줘야 하므로 \(\frac{n!}{r_1! \cdot r_2! \cdot ... \cdot r_k !}\)

• multi-nomial expansion : 위의 \$\frac{n!}{r_1! \cdot r_2! \cdot ... \cdot r_k !}\)이 부분은 사실 우리가 자주 볼 수 있다. 바로 여러 항의 합의 n승 꼴의 전개식에서 말이다. \[(x_1 + x_2 + ... + x_k$^n = \sum$\frac{n!}{r_1! \cdot r_2! \cdot ... \cdot r_k !}$x_{1}^{r_1}x_{2}^{r_2}...x_{k}^{r_k}]\

---

Sampling with Replacement Unordered $중복조합$

\(x + y + z = 10 \)  x,y,z는 정수 ... 이런 문제에서 자주 본 중복조합. 보통 막대기와 공의 배열로 설명을 한다. 우리가 총 n개의 구별되는 구슬이 있고, 중복을 허용해 r번 뽑은 뒤 각각의 공이 총 몇번 뽑혔는지 기록한다고 하자. 이 기록의 경우의 수는 다시 r이라는 수를 n등분 $0개도 하나의 등분으로 포함$ 하는 경우의 수다. 막대 n-1개와 공r개를 나열하는 경우의 수와 같다. r개와 n-1개가 각각 구분이 되지 않는 distinguish permutation 이므로, 이 경우의 수는 \(\binom{n+r-1}{} = \frac{$n+r-1$!}{$n!$$r-1$!}\)이다. 참고로 nHr 이라는 식은 해외에서는 잘 쓰이지 않고 한국과 일본에서만 쓰인다고 한다. 

중복조합 식 유도

Equally Likely 하지 않은 경우의 확률은 각각 구해준다

2,4,6 중에 with replacement로 세번 샘플링 한다 치자. 우리가 $2,4,4$라는 이벤트의 확률과 $2,4,6$라는 이벤트의 확률은 같지 않다. 즉 sample space의 각 event 들의 확률이 다르므로 equally likely 하지 않다. 이럴 경우에 이 친구들의 확률 계산을 sample space에서 하면 틀리게 된다. 각 event의 확률을 각각 계산해야한다.

---

Conditional Probability

Conditional Probability 

B가 발생했을때의 A의 확률 : \$P(A|B$ = \frac{P$A \cap B$}{P$B$}\)

three axioms 

1. \$P(A|B$ \geq 0 \)
2. \$P(S|B$ = 1\)
3. Mutually exclusive한 A들에 대해서,\$P \left [\bigcup_{i=1}^{\infty} A_i |B \right ] = \sum_{i=1}^{\infty}P(A_i|B$\)

Multiplication rule $조건부확률의 곱의 법칙$ 

$$P(A\cap B) = P(B) P(A|B) = P(A)P(B|A)$$

2개에 대해서 되면 N개에 대해서도 항상 된다! $김주한 교수 曰$ 수식 길어서 사진으로 대체. 순서에 집중해서 외우기. A1,A2,A3에 대해서는,  \$P(A_1$ P$A_2|A_1$P$A_3|A_1 \cap  A_2$\)

---

Independant Events

"확률적" 독립이란

Independant : 확률 구조상 독립이라는 거지, 두 대상이 의미적으로 독립이라는 것은 아니다. 실제로 연관이 있더라도, 확률 구조상 독립일 수도 있다. 다만 실제로 독립이라면, 확률적으로도 독립일 것이다. 

$$P(A) = P(A|B) , P(B) = P(B|A)$$

$$P(A\ cap B) = P(A) P(B)$$

If A and B is independant, following three are independant

1. \(A, B^c\)
2. \(A^c, B\)
3. \(A^c , B^c\)

If \(A_1, A_2 , ... , A_n\) are independant

둘둘 쌍$pairwise$ 부터 N개끼리 모두 독립이어야 독립이다.

1.  pair-wise independant : \$P(A_i \cap A_j$ = P$A_i$P$A_j$\)
2. \$P(A_i\cap A_j \cap A_k$ = P$A_i$P$A_j$P$A_k$\) 이 것이 3개, 4개 ... n 개 대해 모두 성립

pairwise 하다고 독립은 아니지만, 독립이면 pairwise 하다. $independant imply pairwise independant, but pairwise independant doesn't imply independant$

---

Bayes' Theorem

Partition 

다 더하면 전체집합인데, 교집합이 하나도 없을때. 마치 세포분열한 colony같이 분할 될때 이를 Partition이라 한다. 

Total Probability theorem

$$P(A) =P(A \cap B_1) + P(A \cap B_2) + ... = \sumP(B_i)P(A|B_i)$$

Bayes' theorem $how to calculate the posterior probability$ 

앞서 Total Probability Theorem은 \$P(A|B_k$\)를 갖고 P$A$를 구하는 방법에 대한 공식이었다면, 이번 Bayes' Theorem은 \$P(B_k|A$\)를 구하는 방법에 대한 식이다. 

A라는 사건 위에서 B의 비율을 구해야하므로, 당연히 분모에 A의 확률이 들어가고, 분자에는 둘의 교집합이 올라가야한다. 이때 분모의 P$A$는 위에서 구한대로 TPT를 이용해 구하고, 분자의 P$A$는 Conditional Probability의 정의에 의해 구한다. 

$$P(B_k|A) = \frac{P(B_k \cap A)}{P(A)} = \frac{P(B_k)P(A| B_i)}{\sum{P(B_i)P(A|B_i)}}$$

여기서 \$P(B_k$\)는 A가 일어나기 전의 확률이라는 의미에서 prior probability 라고 부르고,\$P(B_k|A$\)는 A가 일어난 이후 B의 확률이라는 점에서 posterior probability 라고 부른다.

EX) Urn i = i개의 defective 공 , 10 - i개의 정상 공. i = 1 to 5

$1$ defective 공이 걸릴 확률 : P$A$ -> Total Probability Theorem

Event A 는 defective ball 이 걸릴 확률이다. Partition을 먼저 생각해보면, 전체 Sample  space를 5개의 event $1번 urn select , 2번 urn select , ... , 5번 urn select$ 가 partition을 이루고 있다.

$$P(A) = \sumP(B_i)P(A|B_i) = \sum \frac{1}{5} \frac{i}{10} = \frac{3}{10}$$

$2$ defective 공일 때, 그게 Urn 5에서 나온 것일 확률 

$$P(B_5|A) = \frac{P(B_5)P(A|B_5)}{P(A)} = \frac{1/5 \times 5/10}{3/10} = 1/3$$