Ortak Bilgi (Mutual Information) nedir?

Question

(Ortak bilgi diye cevirdim mutual informationi turkcede dogru terimi bilmedigim icin )

Ortak bilginin tanimi nedir? Bu tanimin motivasyonu nedir ?

Answer 1

Shannon entropisi için, iki rastgele değişken $X$ ve $Y$ alırsak

$$I(X:Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)$$

bu iki değişkenin ortak bilgisi oluyor.
Kolmogorov karmaşıklığı için de iki sözcük $x$ ve $y$ alırsak $I(x:y)$ birkaç farklı tanımdan biri olabilir, hepsi diğerlerinin $O(\log n)$ eksik veya fazlası ($n$ burda $x$ ve $y$'den uzun olanın boyu) : $C(x)-C(x|y)$, $C(y)-C(y|x)$, $C(x)+C(y)-C(x,y)$

Her ikisi için de arka plandaki sezgi ikisinin içerdikleri bilgilerin ne kadarının aynı olduğu, ama tabi bu o ortak bilgiyi çekip çıkarmamızı sağlayacak bir rastgele değişken veya sözcük olduğu anlamına gelmiyor.

Bu arada $H(X|Y)=\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(Y=y)H(X|Y=y)$ yani $\sum_{y\in\mathcal{Y}}p(Y=y)\sum_{x\in\mathcal{X}}p(X=x|Y=y)log\frac1{p(X=x|Y=y)}$,

ve $C(x|y)$ de girdi olarak $y$ verildiğinde çıktı olarak $x$ veren en kısa programın boyu.