第五章

1 相关概念

熵：是随机变量不确定性的度量

条件熵：表示已知随机变量$X$的条件下，随机变量$Y$的不确定性。随机变量$X$给定的条件下随机变量$Y$的条件熵$H(Y|X)$，定义$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望为
$$
H(Y|X)=\sum_{i=1}^np_iH(Y|X=x_i) \mbox{ 其中}p_i=P(X=x_i),i=1,2,3,…,n
$$

互信息：熵与条件熵之差

信息增益：经验熵与经验条件熵之差，表示得知特征后类的信息不确定性减少的程度

特征$A$对训练集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件上之差，即
$$
g(D,A)=H(D)-H(D|A)
$$

信息增益比：特征$A$对训练集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练集$D$关于特征$A$的值的熵$H_A(D)$之比，即
$$
g_R(D,A)=\frac{g(D,A)}{H_A(D)}
$$
其中$H_A(D)=-\sum_{i=1}^n\frac{|D_i|}{|D|}\log_2{\frac{|D_i|}{|D|}}$,$n$为特征$A$的取值个数