灯光概率,在概率计算方面不可能发生一场革命

时间:2024-06-26 16:53:08

巴特·卡斯科(Bart Kosko):南加州大学信息科学家、教授,著有《噪声》(Noise)。

灯光概率,在概率计算方面不可能发生一场革命

我们应该担心,虽然有比实际使用的数目更多的概率模型,我们大多数的科学和技术仍然只使用5个主要的概率模型。我称它们为“灯光概率”。这个词来自一个老笑话,说的是一个醉汉在黑暗处丢失了钥匙,他却在路灯下寻找,原因是那里有光。

5个灯光概率确实解释了大量的实测世界,它们有简单的闭合式定义。所以容易讲解。打开任何一本概率论的书都能读到它。我们已经证明了很多关于概率的定理,还在许多闭合式概率的事件中得到了证明。这些定理使世界上很多现象得到了解释,而且我们还进一步把它推广到金融业、通讯业和核工业等相关模型中。

但它们到底有多准确?它能在多大程度上与事实相符,而不是仅仅把挑选一个好的现实世界的随机模型这个苦差事简单化?

实践中,它们的应用很少同时进行统计假设检验,而统计假设检验能够就一个灯光概率假设与手头数据的吻合程度给出一些客观的测度。每个模型都有数据必须满足的明确的技术条件。然而,在实践中,数据惯常地违反这些条件。

每个人都知道第一个灯光概率:正态的钟形曲线。事实上,多数人认为正态钟形曲线就是钟形曲线。但是有整整一族带着“肥尾”的钟形曲线用来解释种类繁多的、其他不太可能的“不寻常”或“黑天鹅事件”,其依据是这些“肥尾”有多“肥”,而且,这里依然假设钟形是规则的和对称的。在多数教科,你恰恰找不到这些钟形曲线。

对于在时间序列数据(诸如价格的历史数据或人的发言抽样)中的这类“细尾”的正常状态也有简单的检验,该过程的所有高阶累积量必须是零。累积量是这一过程的特殊平均数。观察所谓正常过程的高阶累积量通常会有一样的发现:它们都不是零。所以这个过程不可能是正常的。然而我们常常是在灯光概率下处理这个过程,并不管怎样都假设过程是正常的,尤其是因为那么多其他研究者在相似情况下做着同样的事情。这可能导致严重低估不寻常事件的发生,比如贷款违约。当金融工程师们找到一种把正态曲线强加给复杂的相关金融衍生品的方法,这就是发生在金融恐慌的工程模型中的事。

第2个和第3个灯光概率是泊松(Poisson)和指数概率模型。泊松概率是把随机计数事件模型化,比如互联网网站的点击次数,或者进入高速路的汽车数量,或者落在人行道上的雨滴数量。指数概率模拟要出现下一个泊松事件需要多长时间,下一位顾客走进门或下一个雨滴落在人行道上需要多长时间。推而广之,为接下来的10个互联网点击或接下来的10个雨滴,你要等待多久。现代排队理论就是基于这两个灯光概率。这就是关于排队中泊松到达的等待时间的全部。因此互联网本身也依靠这两个灯光概率模型。

但是泊松模型有一个“阿喀琉斯之踵”:它们的平均值必须等于它们的方差(散布在平均数周围)。不过,在实践中经常失于保持这个条件。指数模型也有类似的问题:它们的方差必须等于它们平均数的平方。这也是一个在实际中很少能保持的精确关系,多数情况下只能维持在一个模糊的程度。近似值是否足够好是一个判断的需要,而灯光概率使这种判断相当容易。

第4个灯光概率是均匀概率模型。大家都知道均匀概率模型,因为它是这样一种特殊情况:所有的结果都是同等可能的。它恰恰是外行人以为的“随便”做事,比如,取吸管或从宾果斗里抓取一只带有编号的乒乓球。但是,由于吸管的长短、粗细不同,所以被抽取的概率不完全相等。实践中,随着结果数量的增加,产生同等可能的结果变得越来越难。这甚至是一个理论事实,因为无穷大的性质,一个人不能从一系列整数中随机地抽取一个整数。这样,它有助于迎合灯光概率下的习惯做法,并简单地假设所有的结果都是同等可能的。

第5个也是最后一个灯光概率是二项式概率模型,它描述了随机抛掷硬币的典型比喻。二项式模型要求二元结果,比如正面或反面,并要求独立试验和抛掷硬币。每一次抛掷得到正面的概率必须保持不变。这似乎十分简单。但是,这种情况可能难以接受:当前面的3次独立抛币的结果全部都是正面,而接下来的再一次抛币的结果正面和反面的可能性还是一样大。

即使知情的人也会对二项式过程感到挠头。考虑一枚公平的硬币,这里公平的意思是,当抛掷这枚硬币时,它出现正面和反面的可能性一样大(因此第4灯光概率描述了这个基本结果)。所以正面的概率是1/2。现在抛这枚硬币数次。那么回答这样的问题:你是在6次抛币中更有可能得到3次正面的结果,还是只在5次抛币中更有可能得到3次正面的结果?正确的答案是两者都不是。两种情况下得到3次正面的确切概率是5/16。这几乎不能凭直觉获知,而是直接来自计算所有可能的结果。

灯光概率已经证明了现代贝叶斯定理的一个特别严酷的限制。鉴于现代贝叶斯算法的迅猛增长和广泛的观念——在新数据和证据的情况下,学习本身就是一种使用贝叶斯定理更新自己信念的形式,这是令人失望的。贝叶斯定理说明了计算逻辑逆命题的概率。如果我们知道肺癌的原概率是多少,以及假定一个病人事实上患有肺癌,我们又能观察他的活体组织检查的概率,贝叶斯定理就能说明在这样一次活体组织检查的情况下,如何来校正这个病人患有肺癌的概率。但是,几乎所有的贝叶斯模型都把这些概率限制到众所周知的灯光概率,而且更进一步限制它们来满足非常严苛的“共轭”关系。结果把很多现代贝叶斯算法置于自己设计的桎梏之中。

共轭是诱人的。假设患癌概率是正态的,再假设活体组织检查的条件概率在患癌的情况下也是正态的,这两个概率共轭。那么,看起来像是数学奇迹的事情发生了。给定活体组织检查的可能性,肺癌的期望概率本身是一个正态概率曲线。因此,正态结合正态产生了一个新的正态,它就让我们把这个新的正态模型作为肺癌的当前估计,然后对一个新的活体组织检查重复这个过程。

计算机可以反复数百或数以千计的这类基于数据的迭代,而且结果永远是一个正态的钟形曲线,但是,一般来说,改变输入的两个正态曲线中的任何一个,结果将不再是正态的。这就给出了一个有悖常理的诱因,以便遵守灯光概率并维持假设一条细尾的正态曲线去描述数据和我们相信的东西。当我们试图用二项式和一条概括均匀分布的贝塔曲线估计一枚偏重硬币的正面概率时,同样的事情出现了。而且一个相似的共轭关系存在于泊松概率、指数函数与它们的推广——伽玛概率之间。这样就给出了三个共轭关系。多数贝叶斯应用都假设这三个关系之一的某种形式,而且几乎总是为了便于计算或符合惯例。

在概率计算方面,不可能发生一场革命。