kerem.altun hocam cok guzel bir sekilde altta yatan sezgiyi vermis. Ben de Claude E. Shannon in verdigi tanimi vermek istiyorum.
Shannon "Bilgi" nin saglamasi gereken uc tane belit veriyor:
- Olmasi kesin olan olay bilgi katmaz.
- Bir olayin olma olasiligi ne kadar dusukse kattigi bilgi o kadar fazladir.
- Eger iki bagimsiz olay ayrik bir sekilde olcumlendiyse toplam bilgi olaylarin bilgilerinin toplamidir
Bu kriterlere uyan bir I(⋅) fonksiyonu bulalim.
I fonksiyonun on olayinin olma olasiliginin bir fonksiyonu oldugu acik.
I(on)=f(P(on))
P(on)=1⟺I(on)=0
P(on)<1⟺I(on)>0
A ile B bagimsiz ise
I(A∩B)=I(A)+I(B) ve P(A∩B)=P(A)∗P(B)
yani bize bir sekilde carpmayi toplamaya ceviren bir fonksiyon lazim. log isimizi gormeli.
I(on)=KlogP(on).
Bilginin pozitif oldugunu hesaba katip K=−1 alirsak bilginin tanimini vermis oluruz.
Sectigimiz logaritmanin tabanina gore bilginin birimi degisik adlar aliyor. Eger tabani 2 secerseniz birim bit
, dogal tabani severseniz nat
, 10 tabanini secerseniz hartley
yada dit
adlarini aliyor