Akademisyenler öncülüğünde matematik/fizik/bilgisayar bilimleri soru cevap platformu
2 beğenilme 0 beğenilmeme
177 kez görüntülendi
Bilginin tanimi ve birimi nedir? Tanimin arkasinda nasil bir mantik yatmaktadir?
Teorik Bilgisayar Bilimi kategorisinde (1k puan) tarafından  | 177 kez görüntülendi

2 Cevaplar

2 beğenilme 0 beğenilmeme
Tanımı işin uzmanlarına bırakarak, arkasındaki mantık ile ilgili bir örnek vereyim.

Televizyonda Kelime Oyunu diye bir yarışma var, bilmeyenler youtube'dan da videolarını bulabilir. Burada açıklaması verilen bir kelimeyi bulmaya çalışıyorsunuz. Yardımcı olması açısından, az daha düşük puan almaya razı olursanız harf alabiliyorsunuz. Harf aldığınızda, kelimenin bir harfi açılıyor. Açılan harf de size bulmaya çalıştığınız kelime ile ilgili bir "bilgi" veriyor.

Orada açılan harf mesela A ise bu size az bilgi verir, ama mesela J harfi çıktıysa bu çok bilgi verir.
(236 puan) tarafından 
Bence örneğe göre,alınan harfler "ipucu".

"efendim bu kelime fransızda kökenlidir." ise bilgi olur.

ama ilk cümlenizi destekliyorum.
Hayır, matematiksel anlamda "bilgi" tanımına göre, harfler de size bilgi verir. Gözlemlediğiniz birşeyin olasılığı ne kadar düşükse o kadar çok bilgi içerir.
Daha doğrusu, matematikte "bilgi" tanımı, olasılığı düşük olan şeyin "bilgi"si yüksek olacak şekilde yapılır.
peki ipucu kelimesini nasıl tanımlarız ?
mutual information veya information leakage (conditional mutual information) gibi yorumlayabilirsiniz belki
Ortak Bilgi (Mutual Information) nedir?
2 beğenilme 0 beğenilmeme

kerem.altun hocam cok guzel bir sekilde altta yatan sezgiyi vermis. Ben de Claude E. Shannon in verdigi tanimi vermek istiyorum.
Shannon "Bilgi" nin saglamasi gereken uc tane belit veriyor:

  • Olmasi kesin olan olay bilgi katmaz.
  • Bir olayin olma olasiligi ne kadar dusukse kattigi bilgi o kadar fazladir.
  • Eger iki bagimsiz olay ayrik bir sekilde olcumlendiyse toplam bilgi olaylarin bilgilerinin toplamidir

Bu kriterlere uyan bir $I(\cdot)$ fonksiyonu bulalim.

$I$ fonksiyonun $o_n$ olayinin olma olasiliginin bir fonksiyonu oldugu acik.
$I(o_n) = f(P(o_n))$


$P(o_n) = 1 \iff I(o_n) = 0$

$P(o_n) < 1 \iff I(o_n) > 0$

$A$ ile $B$ bagimsiz ise

$I(A\cap B) = I(A) + I(B)$ ve $P(A\cap B) = P(A) * P(B)$

yani bize bir sekilde carpmayi toplamaya ceviren bir fonksiyon lazim. $\log$ isimizi gormeli.

$I(o_n) = K\log P(o_n)$.

Bilginin pozitif oldugunu hesaba katip $K=-1$ alirsak bilginin tanimini vermis oluruz.

Sectigimiz logaritmanin tabanina gore bilginin birimi degisik adlar aliyor. Eger tabani $2$ secerseniz birim bit, dogal tabani severseniz nat, $10$ tabanini secerseniz hartley yada dit adlarini aliyor

(1k puan) tarafından 
tarafından düzenlendi
Bilgisayar Biliminde Shannon Entropisi nedir?
19,128 soru
21,043 cevap
69,901 yorum
23,447 kullanıcı