Leo's Garage

Databases Relational databases Define relationships between tables of data inside the database Tables rows = records, columns = fields Combined Data Schema Introducing queries 아주 큰 Datasets에 적합하다. SELECT FROM SELECT name FROM patrons; patrons 테이블에서 name 필드에 해당하는 값을 가져와 SELECT card_num, name FROM patrons; patrons 테이블에서 card_num과 name 필드에 있는 값을 가져와 Writing queries Aliasing rename columns SELECT na..

Data Workflow Data Collection & Storage → Data Preparation → Exploration & Visualization → Experimentation & Prediction Data engineer는 Data Collection & Storage와 연관되어 있다. Data Engineer는 the correct data in the right form to the right people as efficiently as possible A data engineer’s responsibilities Ingest data from different sources Optimize databases for analysis Remove corrupted data Develo..

Mac에서 Ruby를 update할 때는 아래와 같이 수행하자. 이 경우, rbenv로 버전을 관리할 수 있다. rbenv 설치 brew install rbenv ruby-build ruby 설치 rbenv install 2.x.x ruby 버전 번경 rbenv global 2.x.x rbenv local 2.x.x ruby path 수정 echo 'export PATH="$HOME/.rbenv/shims:$PATH"' >> ~/.zshrc echo 'eval "$(rbenv init -)"' >> ~/.zshrc source ~/.zshrc 이후에 reby Gem을 이용하여 jekyll themes를 적용할 때는 아래를 수행한다. bundle install bundle exec jekyll serve

Poisson Distribution N(t)는 발생한 어떤 사건의 수를 의미하며 t에 대한 함수이다. 이 t는 시간일 수도 있고, 길이나 부피일 수도 있다. Lamda는 단위 시간 혹은 길이,부피에 대한 사건이 발생할 평균값이다. 여기서 Counting Process는 t동안 발생하는 사건의 수에 대한 확률 과정이다. 말이 좀 어색한데 예를 들어 1시간에 오는 버스의 수도 Counting Process라고 할 수 있다. 푸아송 과정은 t시간 동안에 발생하는 사건의 수를 나타내는 확률과정인데 정상성과 독립성을 만족하면서, 초기 사건의 수가 0번이고, 발생할 사건의 수가 푸아송 분포를 따라야 한다. 1번 문장의 첫번째 식을 살펴보자. 충분히 작은 시간구간 h에서 사건이 0회 발생할 확률은 다음과 같다. h..

Geometric and Negative Binomial Distributions Geometric Distribution은 첫 성공이 나올 때까지 하는 시도에 대한 확률 분포이다. 따라서 성공할 확률은 p이고 실패할 확률은 q, 1-p이다. mgf는 위와 같이 X 대신에 E^tx를 대입했을 때의 기대값을 의미한다. mgf는 어떤 pmf, pdf 외에 어떤 확률 분포의 특징을 가늠할 수 있는 지표 중의 하나이다. mgf의 1차 미분값은 기대값이다. 그에 대한 증명은 위와 같다. 2차 미분은 분산과 같다 . 그래서 mgf를 구하면 이 확률 분포에 대한 여러가지 성질을 구할 수 있다. s만큼 시간이 지난 후에 t만큼 더 지났을 때 확률과 t만큼 지났을 때 확률이 갔다는 것은 과거의 사건이 미래에 영향을 주지..

Hypergeometric Distribution Hypergeometric Distribution은 여러 종류의 물체가 섞여 있을 때에 각각 고르는 경우에 대한 확률 분포를 의미한다. 단, 여기서 한 번 선택한 물체는 다시 넣지 않는다. 확률은 위와 같이 구할 수 있다. Hypergeometric Distribution는 기대값과 분산은 수학적으로 전개하면 위와 같이 구할 수 있다. 사실 Hypergeometric은 Binomial과 유사한 부분이 있다. 평균은 동일하지만 분산은 Hypergeometic이 좀 더 크다.

Bernoulli and Binomial Distributions 몇가지 중요한 이산분포에 대해서 정리하고 가자. 기본 확률분포에 대해서 다시 한 번 상기해보자 Binomial Distribution은 어떤 시도에서 성공할 때까지의 확률에 대한 분포를 의미한다. 기본적인 이산분포의 기댓값과 분산, MGF에 대한 수식을 한 번 더 상기해보자

본격적으로 통계학을 공부하기에 앞서 지난 두 확률 과목에서 공부한 MGF를 정리하고 가고자한다. $$M(t) = E(e^{tx})$$ 위 수식을 MGF(Moment Generating Function)이라고 한다. 기본적으로 우리가 확률 변수의 기댓값은 아래와 같이 정의한다. $$E(X) = \sum xP(x)$$ 바로 확률 변수의 원소 값 x와 그에 대응하는 확률 p(x)를 곱한값을 더하는 식이다. 이러한 기댓값은 즉, 확률분포의 중심이 어디인지를 알려주게 된다. 그런데 이런 기댓값이 아닌 다른 어떤 값이 확률 변수의 특성을 알려줄 수 있을까? 이때 나오는 개념이 Moment(적률)이다. 원래 이 Moment라는 개념은 수학보다는 물리학에서 먼저 사용한 개념으로 알려져 있다. 물리학에서 Moment는 ..

Bayes Theorem Bayes Theorem은 The Law of Total Probability의 개념을 통해 정의된다. 예를 들어 전체 사건 S를 n개의 A로 나눈다고 하자. 그리고 사건 B가 있을 때, 위의 식이 성립한다. 즉, 사건 B가 일어났을 때에 사건 Aj가 일어날 조건부 확률은 역으로 사건 Aj가 일어났을 때에 사건 B가 일어날 확률이 포함된 식으로 구할 수 있다는 것이다. 질문은 어떤 후보가 멍청한 답을 했을 때, 그 답을 한 후보가 A인 경우의 확률이다. 이 질문을 우리는 상기 오른쪽 식처럼 바꿀 수 있는데, 각 인자에는 A가 답할 확률과 B가 답할 확률 그리고 A가 멍청한 답변을 할 확률과 B가 멍청한 답을 확률을 알고 있으면 답을 구할 수 있다. P(피고인이 재판에서 유죄를 받..

Partitions and the Law of Total Probability 서로 배반사건인 subset으로 모든 사건을 쪼개는 것 각각 A의 Partition과 B의 교집합의 합집합의 확률이 B의 확률인데, 수식적으로 표현하면 위와 같이 조건부확률 형태로 표현할 수 잇다. 이 법칙을 Law of Total Probability라고 한다. 위와 같이 Law of Total Probability를 알고 있으면, 우리가 원하는 확률 즉, GT나 UGA 소속이면서 통과한 학생에 대한 확률을 이미 알고 있는 사실을 도입해서 구할 수 있다. 우리는 현재 GT, UGA 학생수의 분포를 알고 있고, 각 학교별 통과 확률을 알고 있다. 따라서 Law of Total Probability를 이용해서 교집합의 확률을 조..