kerem.altun hocam cok guzel bir sekilde altta yatan sezgiyi vermis. Ben de Claude E. Shannon in verdigi tanimi vermek istiyorum.
Shannon "Bilgi" nin saglamasi gereken uc tane belit veriyor:
- Olmasi kesin olan olay bilgi katmaz.
- Bir olayin olma olasiligi ne kadar dusukse kattigi bilgi o kadar fazladir.
- Eger iki bagimsiz olay ayrik bir sekilde olcumlendiyse toplam bilgi olaylarin bilgilerinin toplamidir
Bu kriterlere uyan bir $I(\cdot)$ fonksiyonu bulalim.
$I$ fonksiyonun $o_n$ olayinin olma olasiliginin bir fonksiyonu oldugu acik.
$I(o_n) = f(P(o_n))$
$P(o_n) = 1 \iff I(o_n) = 0$
$P(o_n) < 1 \iff I(o_n) > 0$
$A$ ile $B$ bagimsiz ise
$I(A\cap B) = I(A) + I(B)$ ve $P(A\cap B) = P(A) * P(B)$
yani bize bir sekilde carpmayi toplamaya ceviren bir fonksiyon lazim. $\log$ isimizi gormeli.
$I(o_n) = K\log P(o_n)$.
Bilginin pozitif oldugunu hesaba katip $K=-1$ alirsak bilginin tanimini vermis oluruz.
Sectigimiz logaritmanin tabanina gore bilginin birimi degisik adlar aliyor. Eger tabani $2$ secerseniz birim bit, dogal tabani severseniz nat, $10$ tabanini secerseniz hartley yada dit adlarini aliyor