I(X,Y)可以取任何正值,也可以取z。如果变量是独立的(因此没有共同的信息),则为零。这使得互信息成为依赖性的完美度量,因为它不需要0到1之间的绝对值[45]。因此,有必要对其进行标准化,以进行直接比较[46-48]。一种可能的归一化是:λ(X,Y)=p1- e-2I(X,Y)(2)等式(2)确定的依赖性度量可以在0到1之间变化,c可以解释为基于信息理论的相关性,如果变量X和Y是独立的(即如果变量没有共同的信息),则取0值。最大值是在两个变量之间存在完美关系的情况下获得的,即在确定性上下文中。它被用作其他测试的替代品,因为它有几个优点。首先,之前的一些测试有一些局限性。例如,皮尔逊相关系数仅反映了线性相关性的存在,但数据中也可能存在非线性相关性。因此,互信息可以用作整体相关性的度量,而不仅仅是线性相关性的度量。因此,关系的符号是积极的还是消极的都无关紧要。此外,与熵相关的度量需要更少的假设,更灵活。互信息用于测试时间序列的全局相关性。零假设定义为H0:I(X,Y)=0,这意味着变量是独立的(或者给定的时间序列没有记忆)。备选假设由H1给出:I(X,Y)>0。通过将相关值与临界值进行比较来决定是否拒绝无效假设【49】。
|