统计物理与资讯理论术语 熵( 三 )


统计物理与资讯理论术语 熵

文章插图
其中S的脚标,标记对应机率空间的样本点个数 。事实上,香农证明如果要求度量满足这些性质,则可以完全确定“信息熵”的定义表达式 。热力学熵根据Jaynes(1957)的观点,热力学熵可以被视为香农信息理论的一个套用(这从玻尔兹曼公式和信息熵的定义相似性明显可以看出 。):热力学熵被定义为与要进一步确定系统的微观状态所需要的更多香农信息的量成比例 。比如,系统温度的上升提高了系统的热力学熵,这增加了系统可能存在的微观状态的数量,也意味着需要更多的信息来描述对系统的完整状态 。麦克斯韦在以他的名字命名的思想实验(“麦克斯韦妖”)中认为,如果存在一个小妖精知道每个分子的状态信息(热,或者冷),就能够降低系统的热力学熵 。Landauer和他的同事则反驳说,让小妖精行使职责本身——即便只是了解和储存每个分子最初的香农信息——就会给系统带来热力学熵的增加,因此总的来说,系统的熵的总量没有减少 。这就解决了“麦克斯韦妖”引发的悖论 。Landauer法则能够解释现代计算机在处理大量信息时,必须解决散热问题 。