本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：​​information-theory​​】，需要的朋友们自取。或者公众号【AIShareLab】回复信息论也可获取。 自信息 信息量 如何考察或计算信源输出的消息(或者符号)的信息量? 信源的信息实质:不确定性（信源输出的是消息，消息的内涵是信息。信源输出一个符号，我们认为发生一个事件）。 数学上我们用概率（或概率密度）来表征事件不确定性的大小。 1.信息量的大小与不确定性的消除多少有关 收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确...