Math/확률및 통계
[Math] Information, Entropy, Cross-Entropy, KL-Divergence, Mutual-Information 정리
1. Information(정보량) : 주어진 임의의 이벤트에서 발생하는 놀라움(?)의 정도 * : stochastic event * : Probability of Event E example : 주사위를 던질 때 6이 나올 확률이 90%라 하자. 나머지 1~5까지 나올 확률은 2.5%라 하자. 이 때 각 확률이 나올 Information은 아래와 같다. 이 때 주사위를 굴릴 때의 정보량은 아래와 같다. 이 때 이 나오는 것보다 가 나오는 것이 더 놀랍다. 이러한 정보를 나타내는 수치가 information 이다. 2. Entropy * : 가 일어날 확률 * : 에서의 information 위의 식에서도 알 수 있듯, Entropy는 Information의 기대값이다. 예시를 들어서 생각해보자. exa..
