一篇来自学术预印本平台的新论文，从数学上证明了概率形式的联合嵌入预测架构（JEPA）在本质上等价于一个隐马尔可夫模型（HMM）。这一发现为理解自监督学习提供了全新的状态空间视角，并桥接了深度学习表征学习与经典概率时序建模两大范式。
JEPA（Joint-Embedding Predictive Architecture）由 Yann LeCun 等人提出，其核心思想是：不在像素空间做预测，而是在抽象的嵌入空间做预测。这一思路在自监督学习领域取得了显著成功，但其理论基础一直不够清晰。
这篇论文给出了一个优雅的答案：概率形式的JEPA，本质上就是一个隐马尔可夫模型。
具体来说，论文证明了在概率框架下，JEPA 的"预测潜在嵌入"过程，等价于 HMM 中的"潜在状态转移"——两者都遵循马尔可夫性质，并通过观测模型与数据相连。这一等价性不是近似的，而是严格的数学同构。
学习一个嵌入函数，使得未来时刻的嵌入可以被当前时刻的嵌入预测。目标函数在嵌入空间定义，与像素空间解耦。
嵌入空间等价于HMM的"潜在状态空间"；预测器等价于状态转移矩阵；相似性度量等价于观测概率。三者在数学上完全对应。
JEPA 自提出以来，虽然效果出众，但一直面临一个根本性质疑："为什么预测嵌入就能学到好表征？" 这篇论文用数学给出了回答。
等价性意味着，JEPA 的成功并非偶然，而是因为它隐式地建模了数据的时序结构——就像HMM一样。这不仅解释了JEPA为什么有效，还指出了其局限性：当数据的时序结构不符合马尔可夫性质时，JEPA可能失效。
更重要的是，这个统一视角为两个领域带来了双向滋养：
HMM 的经典算法可直接应用于JEPA的推理与学习，为自监督学习带来新的工具。
反过来，JEPA的深度架构也为HMM提供了表征学习的能力——用神经网络学习复杂的观测模型和状态转移，突破了传统HMM的表达瓶颈。
论文不仅给出了数学证明，还通过实验验证了等价性的实际影响。研究团队在多个标准基准上比较了概率JEPA与等效HMM的表现。
这篇论文的贡献不仅在于一个具体的等价性证明，更在于它揭示了自监督学习与概率时序建模之间的深层联系。
一位研究者可能会问："如果JEPA就是HMM，那我们为什么还需要深度学习？" 答案在于规模与表达力。
传统HMM受限于线性假设和手工设计的状态空间，而JEPA通过神经网络学习嵌入函数，实际上是在学习一个非线性、高维的潜在状态空间。等价性告诉我们：深度学习的"魔法"不在于改变了基本框架，而在于赋予了经典框架以强大的表达力。
这种"经典框架 + 深度表达"的模式，在AI领域并不罕见——CNN继承了卷积滤波器的思想，Transformer继承了注意力机制。JEPA与HMM的等价性，是这一模式的又一个例证。
一个诚实的注脚：
等价性并不意味着JEPA"没有创新"。恰恰相反，它揭示了JEPA的创新本质——用深度学习复活并扩展了一个经典的概率模型，使其能够处理高维、非结构化的数据。这种"旧瓶装新酒"的模式，往往是AI领域最深刻的理论进展。
这篇论文的价值，在于它回答了自监督学习领域一个悬而未决的基础问题。JEPA 自2022年提出以来，其理论根基一直依赖直觉和实验验证，而非严格的数学推导。
"预测嵌入为什么有效？"——这篇论文给出了一个简洁而有力的答案："因为它就是HMM。"
这个答案的意义在于，它将JEPA从"一个有效的技巧"提升为"一个有着坚实理论基础的方法"。研究者现在可以基于HMM的成熟理论来理解JEPA的收敛性、泛化边界和潜在缺陷。
但也要看到，等价性建立在对JEPA的概率解释之上，而实际应用中的JEPA往往采用非概率的对比损失。这种理论与实践的差距，是这篇论文没有完全覆盖的。
理论统一是AI走向成熟的标志。这篇论文证明：自监督学习与概率时序建模本质上是同一枚硬币的两面——未来最强大的模型，将是那些能够巧妙融合经典框架与深度表达的模型。
完整论文包含详细的数学推导、实验设置与消融研究，可在学术预印本平台获取。
查阅预印本 → 搜索论文标题