Probability and Statistics II: Random Variables – Great Expectations to Bell Curves - 24

Covariance and Correlation

Covariance와 Correlation은 RV X와 Y의 관련성의 정도를 측정하는데 사용된다.

Covariance는 의미에서 보다시피 번역하면 "공분산"이다.

이전에 학습했듯이 Var(X) = E[(X - u)^2]이다.

따라서 Cov(X,X) = E[(X - E[X])^2]  = Var(X)이 된다. 

Cov(X,Y) = E[(X - E[X])(Y - E[Y])]가 된다.

X와 Y의 Covariance가 양수일 경우

X 와 Y의 Covariance가 음수일 경우

X 와 Y가 서로 독립 사건일 경우

Covariance를 쉽게 구하는 방법에 대한 증명

만약에 X와 Y가 독립사건이라면, E[XY] = E[X]E[Y]가 되므로, Covariance는 0이 된다.

Covariance가 0이라고 반드시 X 와 Y가 독립사건인 것은 아니다.

즉, X 와 Y가 독립사건이라면 반드시 Covariance가 0이지만 그 역은 성립하지 않을 수 있다는 것이다.

Correlation의 정의

Correlation은 차원이 없는 값이다. 

Covariance를 각 RV의 분산곱의 제곱근으로 나눈값이다.

그 값이 1에 가깝다면 상관관계가 높다는 뜻이고, 0에 가깝다면 상관관계가 낮다는 것이며 -1에 가깝다면 음의 상관관계가 높다는 뜻이다.