Akademisyenler öncülüğünde matematik/fizik/bilgisayar bilimleri soru cevap platformu
0 beğenilme 0 beğenilmeme
1k kez görüntülendi
(Ortak bilgi diye cevirdim mutual informationi turkcede dogru terimi bilmedigim icin )

Ortak bilginin tanimi nedir? Bu tanimin motivasyonu nedir ?
bir cevap ile ilgili: Bilgi (information content) nedir?
Teorik Bilgisayar Bilimi kategorisinde (1.6k puan) tarafından  | 1k kez görüntülendi

1 cevap

1 beğenilme 0 beğenilmeme
En İyi Cevap
Shannon entropisi için, iki rastgele değişken $X$ ve $Y$ alırsak

$$I(X:Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)$$

bu iki değişkenin ortak bilgisi oluyor.
Kolmogorov karmaşıklığı için de iki sözcük $x$ ve $y$ alırsak $I(x:y)$ birkaç farklı tanımdan biri olabilir, hepsi diğerlerinin $O(\log n)$ eksik veya fazlası ($n$ burda $x$ ve $y$'den uzun olanın boyu) : $C(x)-C(x|y)$, $C(y)-C(y|x)$, $C(x)+C(y)-C(x,y)$

Her ikisi için de arka plandaki sezgi ikisinin içerdikleri bilgilerin ne kadarının aynı olduğu, ama tabi bu o ortak bilgiyi çekip çıkarmamızı sağlayacak bir rastgele değişken veya sözcük olduğu anlamına gelmiyor.

Bu arada $H(X|Y)=\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(Y=y)H(X|Y=y)$ yani $\sum_{y\in\mathcal{Y}}p(Y=y)\sum_{x\in\mathcal{X}}p(X=x|Y=y)log\frac1{p(X=x|Y=y)}$,

ve $C(x|y)$ de girdi olarak $y$ verildiğinde çıktı olarak $x$ veren en kısa programın boyu.
(54 puan) tarafından 
tarafından seçilmiş
20,263 soru
21,787 cevap
73,463 yorum
2,368,483 kullanıcı