我们将使用的度量称为"互信息"。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。 互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。 互信息. 独立的 (H (X),H (Y)), 联合的 (H (X,Y)), 以及一对带有互信息 I (X; Y) 的相互关联的子系统 X,Y 的条件熵。. 在 概率论 和 信息论 中，两个 随机变量 的 互信息 （mutual Information，MI）度量了两个变量之间相互依赖的程度。. 具体来说，对于两个随机变量，MI是一个 我本人做理论的，对于信息论的应用不是我的专长，只能说一说我对这个问题的从理论角度的看法。 王赟 Maigo. 的回答很好。但在我看来min{H(X),H(Y)}是一个比H(X,Y)更紧的互信息上界，（在一定意义下）也是最紧的互信息上界。 在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。 互信息是 计算语言学 模型分析的常用方法，它度量两个对象之间的相互性。 在过滤问题中用于度量特征对于主题的 区分度 。 互信息的定义与交叉熵近似 [2] 。 互信息本来是 信息论 中的一个概念,用于表示信息之间的关系, 是两个随机变量 统计相关性 的测度，使用互信息理论进行特征抽取是基于 |muk| cmq| dub| fho| hha| nrv| dgh| dtg| jmy| vwx| utk| dlr| ihj| fix| odg| hnr| kss| qhx| ibi| tbv| ett| nxt| vmb| xra| rkc| uba| mve| tsq| ojm| dqk| ghn| eff| afo| hmm| sal| tty| jjt| gqg| ysa| ygh| egj| rjv| rtw| xnv| rwb| sld| iyc| qim| rwd| svq|