Skip to content

Instantly share code, notes, and snippets.

@sccu
Last active July 5, 2018 02:19
Show Gist options
  • Save sccu/b669c0b3e8ab2abea2bc7a4f012b728c to your computer and use it in GitHub Desktop.
Save sccu/b669c0b3e8ab2abea2bc7a4f012b728c to your computer and use it in GitHub Desktop.
Notes for Deep Learning Book

Page 59

Expectation 표기법

         My Formula

Expectation의 선형성

         My Formula

Variance

확률분포로부터 x의 값들을 샘플링할 때, 확률변수 x의 함수의 값이 변하는 정도에 대한 척도이다.
         My Formula

Covariance

공분산의 절대값이 크다는 것은 값이 크게 변하며 각각의 평균으로부터 동시에 떨어져 있음을 뜻한다.
         My Formula

Correlation

각 변수들의 스케일에 의한 영향 대신 변수들이 관련된 정도만 측정하기 위해 각 변수의 기여도를 normalize한다.

Independence and Covariance

독립은 비선형관계도 제외하기 때문에 0 공분산보다 더 강력한 요건이다.

Page 70

모든 이산 값들에 대해서는 확률이론에서의 중요한 결과들이 유지되지만, 연속 값들에 대해서는 "almost everywhere"일 때에만 유지된다.

Random Variable Transformation

두 연속확률변수 x와 y가 있고, My Formula라고 하자. My Formula일 것 같지만 사실은 그렇지 않다.

         My Formula
이는 y에 대한 확률분포의 정의를 위반했다.

이를 바로잡기 위해서는 매핑함수 g의 변화율을 고려해야 한다. 먼저 스칼라 경우로 돌아가 보면,
         My Formula

고차원에서는 도함수 부분이 Jacobian matrix의 행렬식으로 일반화된다.
         My Formula

매핑함수가 선형이면 Jacobbian matrix는 선형변환 A이고, det(A)는 n차원 볼륨에 대한 scaling factor다.
         My Formula

Probability measure 관점에서 표현하면,
         My Formula

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment