천재 수학자가 밝혀낸 ‘정보’의 비밀 | 10분만에 정보 이론 이해하기 - 책그림

 

정보란, 우리가 아직 모르는 것을 알아낼 가능성

정보를 분석하려면, 의미를 버리고 확률적 분석을 해야한다.

 

 

1. 확률적으로 동등한 2가지 중 하나 --> bit

    정보는 앞,뒤 문맥에 따라 영향을 받는다.

    확률이 높다.

2. 경우의 수가 적다 == 정보의 양이 적다 (잉여성)

 

(요약) 정보는 확률적이며, 잉여성이 있다.

압축하거나, 생략할 수 있다.

 

 

확률을 고려하여... 압축한다!

A = 1/2

B = 1/4

C = 1/8

D = 1/8

 

2 bits

A = 00

B = 01

C = 10

D = 11

 

1.75 bits

A = 0

B = 10

C = 110

D = 111

 

클로드 섀넌 감사합니다. :)