Leo's Garage

Bayes Theorem Bayes Theorem은 The Law of Total Probability의 개념을 통해 정의된다. 예를 들어 전체 사건 S를 n개의 A로 나눈다고 하자. 그리고 사건 B가 있을 때, 위의 식이 성립한다. 즉, 사건 B가 일어났을 때에 사건 Aj가 일어날 조건부 확률은 역으로 사건 Aj가 일어났을 때에 사건 B가 일어날 확률이 포함된 식으로 구할 수 있다는 것이다. 질문은 어떤 후보가 멍청한 답을 했을 때, 그 답을 한 후보가 A인 경우의 확률이다. 이 질문을 우리는 상기 오른쪽 식처럼 바꿀 수 있는데, 각 인자에는 A가 답할 확률과 B가 답할 확률 그리고 A가 멍청한 답변을 할 확률과 B가 멍청한 답을 확률을 알고 있으면 답을 구할 수 있다. P(피고인이 재판에서 유죄를 받..

Partitions and the Law of Total Probability 서로 배반사건인 subset으로 모든 사건을 쪼개는 것 각각 A의 Partition과 B의 교집합의 합집합의 확률이 B의 확률인데, 수식적으로 표현하면 위와 같이 조건부확률 형태로 표현할 수 잇다. 이 법칙을 Law of Total Probability라고 한다. 위와 같이 Law of Total Probability를 알고 있으면, 우리가 원하는 확률 즉, GT나 UGA 소속이면서 통과한 학생에 대한 확률을 이미 알고 있는 사실을 도입해서 구할 수 있다. 우리는 현재 GT, UGA 학생수의 분포를 알고 있고, 각 학교별 통과 확률을 알고 있다. 따라서 Law of Total Probability를 이용해서 교집합의 확률을 조..

Independence Day 두 사건이 서로에게 독립적일 경우 두 사건의 교집합의 확률은 두 사건의 확률의 곱으로 표현할 수 있다. 항상 두 사건이 독립인지 확인하는 방법은 두 사건의 교집합의 확률이 각각 사건의 확률의 곱으로 이루어지를 보는 것이다. 배반사건은 두 사건의 교집합이 없는 경우이다. 결국 k개의 사건이 서로 독립이기 위해서는 전체의 교집합의 확률이 각각 사건의 확률의 곱으로 이루어지는 것도 필요하지만 각각 subset내에서의 교집합의 확률과 각 사건의 확률곱이 일치해야만 한다.

Conditional Probability 조건부 확률을 이용하여 다른 식으로 연산할 수도 있다. 경우의 수를 따져보면, 2명의 아이의 성별에 따라 4가지의 경우가 있고, 각각 태어난 요일에 따라서 49가지 경우가 있을 수 있다. 이를 곱하면 총 196가지의 경우의 수가 있다. 이제 둘 다 사내아이이면서 적어도 한 명이 화요일에 태어날 확률을 계산해보면, 화요일에 태어난 아이가 먼저일 때와 나중일 때의 경우의 수가 2, 그리고 나머지 한 명이 태어날 요일의 경우의 수 7을 곱하면 14가 된다. 그러나 여기에 함정이 있는데 둘 다 화요일에 태어나는 경우의 수가 중복으로 포함된다. 따라서 13가지 경우의 수임을 알 수 있다. 그리고 적어도 화요일에 사내아이가 태어날 확률을 계산해보면, 27가지의 경우의 수가..

Poker Problems Rank는 숫자나 알파벳이고, suit는 문양이다. 자 위와 같은 기본적인 내용을 이해하고 이제 특별한 카드모음을 받게 되는 확률을 구해보자. 2 Pair는 같은 숫자 쌍을 2세트 가져갔을 때를 의미한다. 따라서 우선 rank 중에서 2개를 골라야 하므로 13 개 중에 2개를 뽑은 가짓수와 Suit는 4개 중에 2개를 골라야 하는데 이런 경우가 지금 2쌍이므로 2번 곱한다. 그 다음에 나머지 카드 중에 하나를 받는 경우를 골라야 하는데 52 중에서 4개를 뺀 48개여야 하지만 2 Pair에서 Full house를 가져오는 경우를 제외하므로 44개 중에 하나를 받는 경우를 생각하면 된다. 그러면 위와 같이 가짓수가 나오고 52 개중에 5개를 뽑는 가짓수에서 나눠주면 확률이 나오게..

The Envelope Problem n명의 사람으로 구성된 그룹에 n개의 우편이 그들의 이름이 써있는 채 도착했다. 하지만 누군가 이 우편을 어질러버렸다. 자 여기서 적어도 한 명이 자신에게 온 우편을 받을 확률을 구해보자. Ai를 어떤 i라는 사람이 자신에게 온 편지를 받는 Event라고 가정하면, 우리가 원하는 건 이런 Ai의 합집합이 될 것이다. 그리고 그에 대한 확률을 구하면 되는 것이다. 이 전체 합집합을 inclusion-exclusion의 원리로 전개하면 짝수 Event의 교집합은 빼고 홀수 Event의 교집합은 더하는 식으로 전개할 수 있다. 이 문제의 경우 각 Ai의 확률 P(Ai)는 전부 같다고 볼 수 있고 또한 모든 교집합들도 서로 확률이 같다고 볼 수 있다. 따라서 위와 같이 전개..

The Birthday Problem 생각해보면 이 확률이 굉장히 작을 것 같다. 실제로 그런지 계산해보자 만약에 n명이 전부 생일이 다른 경우의 수를 구한다면 위의 수식과 같이 구할 수 있을 것이다. 그리고 이렇게 전부 생일이 다를 "확률"을 계산해본다면 위의 수식과 같이 구할 수 있다. 그렇다면 적어도 2명의 생일이 같은 확률은 전체확률 1에서 전부 다를 확률을 빼면 된다는 것이다. 만약에 인원이 366명이면 당연히 확률은 1이다. 그렇다면 확률이 0.5이상이 되는 순간의 인원은 몇 명일까? 놀랍게도 23명 이상이면 확률이 0.5 이상이 되고, 인원이 50명인 경우에는 확률이 무려 0.97이 된다. 놀라운 일이 아닐 수 없다.

Permutations vs. Combinations 위와 같은 문제가 있다고 가정하자. 4개는 빨간 대리석이고 2개는 하얀 대리석이다. 이것들을 나열해보자 여기서 문제는 다음과 같다. a. 양 끝이 하얀색 대리석인 경우 b. 양 끝이 하얀색 대리석이 아닌 경우 c. 하얀 대리석이 연속으로 있는 경우 1번 방식은 기본적으로 Permutation을 이용한 방식이다. 중복에 대해서 고려하지 않고 가능한 모든 경우의 수를 나열하는 식으로 전개하고 있다. 하지만 이 방법의 경우에는 음... 계산이 좀 더 길어지고 수가 커진다는 단점이 있다. 2번 방식의 경우에는 좀 더 명확한데 중복 가지수를 빼고 계산할 수 있기 때문에 좀 더 빠르게 답을 얻을 수 있다.

Hypergeometric, Binomial, and Multinomial Problems 2개의 서로 다른 종류의 Object가 있을 때, 이 Object들 중에서 어떤 종류의 Object를 k개 뽑을 확률을 위와 같이 구한다. 그리고 이런 환경에서 어떤 종류의 Object를 k개 뽑는 것에 대해서 어떤 Object의 k 갯수(X)에 대한 Hypergeometric Distribution이라고 한다. Binomial은 Hypergeometric과 거의 유사한데 한 가지 다른 점은 먼저 뽑은 object를 다시 채워넣는다는 점이다. 즉, Hypergeometic의 경우에는 첫번째와 두번째 시도가 확률적으로 다르다. 하지만 Binomial은 모든 시도에서 확률적으로 동일하다. Multinomial Coef..

Counting Techniques: Combinations Combination은 순서에 관계가 없다. Permutation의 경우에는 순서가 중요하다. Binomial Distribution이라는 걸 나중에 배우게 되는데 이 분포는 베르누이 시행을 n번 하여 성공할 횟수를 X라고 하면, 이 X 확률 변수의 모수가 (n, p)이 분포이다. (여기서 p는 성공할 확률을 의미한다.)