摘要：信息量/熵/信息增益/互信息/交叉熵

本文转自：http://www.cnblogs.com/zhangchaoyang/articles/2655785.html ，对机器学习相关的信息论基本概念做了总结，值得翻阅，不过文章中认为信息增益等同于互信息，交叉熵等同与KL距离，这个根据相关的资料来看，并不完全一样。