Add presentation slides for OU process and Mehler formula

2026-06-03 04:08:01 +08:00
parent 5de86388db
commit 920439e044
39 changed files with 2385 additions and 0 deletions
@@ -0,0 +1,87 @@
+# Hermite 多项式：高斯世界里的频率分解工具
+
+**Host (Male)**: Hello Deer！欢迎回到我们的节目。今天我们要聊一个听起来很硬核、但其实特别优雅的数学工具——Hermite 多项式。
+
+**Host (Female)**: 对，很多人一听多项式就想躲。但今天我保证，我们用大白话把它讲明白。先说说，我们为什么要管它？
+
+**Host (Male)**: 好问题。这要从一个叫 LeJEPA 的自监督学习方法说起。它的核心证明里要回答一件事：编码器把数据映射成一个表示之后，这个表示里到底哪一部分，对所谓的正样本对的相关性贡献最大。
+
+**Host (Female)**: 正样本对，简单说就是同一个东西的两个不同视角，对吧？模型希望它们的表示尽量像。
+
+**Host (Male)**: 没错。而要回答哪部分贡献最大，你得先有一把刀，能把任意一个函数拆成一块一块。这就像傅里叶分析，把一段声音拆成不同频率的正弦波。
+
+**Host (Female)**: 啊，这个类比我喜欢。傅里叶是把周期信号拆成高音、低音。那 Hermite 是拆什么？
+
+**Host (Male)**: Hermite 是专门为高斯分布、也就是我们常说的正态分布、钟形曲线，量身定做的拆分工具。当你的数据服从钟形曲线时，Hermite 多项式就是那套最自然的基本积木。
+
+**Host (Female)**: 所以可以理解成：傅里叶是周期世界的积木，Hermite 是高斯世界的积木。那这些积木长什么样？
+
+**Host (Male)**: 最前面几块特别简单。第零块就是常数一。第一块就是它本身，z。第二块是 z 的平方再减去一。第三块是 z 的三次方减去三倍的 z。越往后次数越高，但都有规律。
+
+**Host (Female)**: 有规律就好记。是不是有个递推的套路，能从前面两块推出下一块？
+
+**Host (Male)**: 正是。下一块等于 z 乘以当前这一块，再减去它的阶数乘以前一块。比如想要第二块，就拿 z 乘第一块的 z，得到 z 平方，再减去一倍的常数一，正好是 z 平方减一。
+
+**Host (Female)**: 漂亮，自己就能一层层搭上去。那这套积木最关键的本事是什么？
+
+**Host (Male)**: 最关键的叫正交性。意思是说，任意两块不同阶数的积木，在高斯分布下做平均，它们的乘积平均下来等于零。互不干扰。
+
+**Host (Female)**: 等一下，这个互不干扰，是不是又跟正弦波很像？不同频率的正弦波相乘积分也是零。
+
+**Host (Male)**: 完全一样的精神。不同频率的波互不打架；不同阶数的 Hermite 积木也互不打架。只有自己跟自己相乘，平均才不为零，而且那个值正好等于它的阶数的阶乘。
+
+**Host (Female)**: 能举个最小的例子验证一下吗？让我有点踏实感。
+
+**Host (Male)**: 当然。拿第一块 z 和第二块 z 平方减一相乘，展开就是 z 的三次方减去 z。在钟形曲线下，所有奇数次方的平均值都是零，所以整体就是零减零，等于零。它俩果然互不干扰。
+
+**Host (Female)**: 服气。那有了这套互不干扰的积木，是不是任何函数都能用它们拼出来？
+
+**Host (Male)**: 只要这个函数不太离谱，具体说是它的平方的平均值是有限的，那它就能写成这些积木的加权叠加。每一块前面配一个系数，系数大代表这个函数里那个阶数的成分多。
+
+**Host (Female)**: 就像把一个向量沿着一组坐标轴分解，每个轴上投影多少。这里的轴就是不同阶数的 Hermite 积木。
+
+**Host (Male)**: 比喻得非常准。好，现在重头戏来了：为什么这套工具对 LeJEPA 这么要命。
+
+**Host (Female)**: 我正想问。前面铺垫这么多，关键的转折在哪？
+
+**Host (Male)**: 关键在于那个生成正样本对的过程，数学上叫 OU 过程。你可以把它想象成：拿原始的表示，乘上一个介于零和一之间的系数,再掺进一点点随机噪声，得到第二个视角。
+
+**Host (Female)**: 那个介于零和一的系数，我们就叫它相关强度吧。它怎么影响不同阶数的积木？
+
+**Host (Male)**: 这就是最神奇的地方。线性成分，也就是第一阶，经过这个过程之后，两边的相关性正好等于那个系数本身。但二阶成分的相关性，是这个系数的平方。三阶是三次方。
+
+**Host (Female)**: 等等，因为这个系数小于一，所以平方会更小，三次方更更小。也就是阶数越高，相关性掉得越快？
+
+**Host (Male)**: 对，是指数级地掉。高阶的非线性成分，经过这个过程之后几乎就被冲淡没了。只有线性成分保留得最结实。
+
+**Host (Female)**: 我好像猜到结论了。如果模型的目标是让正样本对的相关性尽可能大……
+
+**Host (Male)**: 聪明。既然线性成分留下的相关性最高，非线性成分都被打了折扣，那最优策略自然就是：只保留线性成分，把所有非线性成分统统丢掉。
+
+**Host (Female)**: 所以模型被这个机制温柔地逼着，学成了一个本质上线性的表示。这就是他们那个核心定理的直觉来源。
+
+**Host (Male)**: 正是。研究者还给了一个很贴心的量，叫谱权重，专门衡量一个表示里每个阶数的成分占了多大比例。
+
+**Host (Female)**: 谱权重怎么理解？给我个画面感。
+
+**Host (Male)**: 你就想象一个饼图。整张饼是这个表示的总能量。线性成分切走一块，二阶切走一块，三阶再一块。每一块的占比就是那个阶数的谱权重，所有块加起来正好是百分之百。
+
+**Host (Female)**: 那如果一个表示是纯线性的，饼图就是线性那一块占满整张，对吧？
+
+**Host (Male)**: 完全正确。纯线性，线性那块就是百分之百。纯二次，二阶那块占满。混合的，就是好几块都有。而 LeJEPA 想要的理想状态，就是把整张饼都给线性那一块。
+
+**Host (Female)**: 我帮大家把今天的几个要点串一下。第一，Hermite 多项式是高斯世界里的频率分解工具，类比傅里叶。
+
+**Host (Male)**: 第二，它最核心的性质是正交性，不同阶数互不干扰，所以任意合理的函数都能干净地拆成这些积木的叠加。
+
+**Host (Female)**: 第三，那个生成正样本对的 OU 过程，对越高阶的成分削减得越狠，相关性按阶数指数衰减。
+
+**Host (Male)**: 第四，因此最大化相关性的最优解，就是只留线性成分，这就推出了所谓的线性可识别性，也是整套理论的基石。
+
+**Host (Female)**: 讲得太顺了。如果听众还想往下走，下一站是什么？
+
+**Host (Male)**: 下一站就是去看那个相关性按阶数衰减的公式到底从哪来，背后有个叫 Mehler 公式的东西，会把今天这个直觉彻底坐实。
+
+**Host (Female)**: 好，那我们下期接着聊。谢谢大家收听，记得，数学不可怕，可怕的是没人陪你拆积木。我们下次见！
+
+**Host (Male)**: 下次见，拜拜！