信息论基础_期末复习
熵基本概念熵：$H(X)=-\sum_{x} p(x)\log p(x)$条件熵：$H(X|Y)=H(X,Y)-H(Y)=\sum_y p(y)H(X|Y=y)=-\mathbb{E}[\log p(X|Y)]$互信息：$I(X;Y)=\sum_{x\in\mathcal{X}}\sum_{y\in\mathcal{Y}}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}=H(X)+H(Y)-H(XY)=H(X)-H(X|Y)$相对熵（$KL$ 散度）：$D(p|q)=\sum_x p(x)\log \frac{p(x)}{q(x)}$
链式法则
$H(X_1,X_2,\cdots,X_n)=\sum_{i}H(X_1|X_1,X_2,\cdots,X_i)$
$I(X_1,X_2,…,X_n;Y)=I(X_1;Y)+I(X_2;Y|X_1)+I(X_3;Y|X_1,X_2)+…+I(X_n;Y|X_1,…,X_{n-1})$
$D(p(x,y)|q(x,y)) ...