不知从哪一年开始，熵增成了互联网鸡汤和职场PPT里最泛滥的遮羞借口。收拾工位叫抗熵，不想起床叫顺应熵增，跨部门扯皮叫组织架构陷入死局。但热力学第二定律明明管的是与世隔绝的封闭孤立系统，拿着宇宙终极死寂的物理规律，跑来给偷懒和管理无能找借口，纯属是在概念偷换。

然而在代码世界里，不管是写图像分类还是训练大模型预测Token，屏幕上永远逃不掉那个带着负号和对数log的交叉熵损失函数。很多教科书两手一摊只管让大家背公式调包，却从不解释它为什么叫熵，它跟两百年前瓦特改进蒸汽机之后，物理学家算煤炭燃烧效率搞出来的热力学熵到底有什么瓜葛。

本期节目彻底撕开那些故弄玄虚的玄学面具，不讲抽象枯燥的微积分符号，纯靠最朴素的生活直觉，把横跨物理学，通信工程，统计学以及现代深度学习的核心公式给亲手拆装一遍。

本期要点

• 冯诺依曼的损招：1948年香农推导出了不确定性度量公式，冯诺依曼为什么劝他一定要叫熵？
• 从直觉推导信息熵：信息不是字数而是意外度，独立事件概率相乘与认知累加相加的刚性冲突，如何把数学逼向了唯一的对数函数？
• 玻尔兹曼墓碑上的秘密：大自然从不偏爱混乱，微观可能性的乘积与宏观广延量的相加，为什么在19世纪写下了同一套算式？
• 麦克斯韦妖与兰道尔税：小妖精如何试图白嫖热力学第二定律？计算不耗能，为什么宇宙规定抹掉记忆必须向环境散发热量？信息为什么是滚烫的物理实体？
• 极大似然与交叉熵：上帝视角的概率与法医视角的似然。为什么统计学里的负对数似然，在信息论里被叫做交叉熵？模型训练与反向传播的数学真相是什么？
• 电报密码本与大模型终局：如果用自以为是的偏见密码本去翻译真实世界，多交的冤枉钱就是KL散度。前OpenAI首席科学家Ilya Sutskever那句压缩即智能，底层到底在说什么？
• 负熵岛屿：在微观状态数终将滑向平庸与死寂的宇宙里，人类写代码，做推理，录播客，求真知，究竟是在对抗什么？

Background music from YouTube Audio Library.