贝叶斯与假阳性以及休谟

2022.09.20

介绍贝叶斯定理时,有一个例子几乎每次都会出现,那就是假阳性问题。本文试图对这个常见例子谈一点不一样的内容。虽然这个例子如此常见,出于完整性,还是先叙述一下。设一种病在人群中的发病率为万分之一,而检验此病的方法有99%的准确度,即对患病的人99%显示为阳性,而对未患病的人99%显示为阴性。记实际患病为$E$,显示阳性为$T$,则$P(E)=0.0001$,$P(T|E)=0.99$,$P(\neg T|\neg E)=0.99$,由贝叶斯定理有 $$ P(E|T)=\frac{P(T|E) P(E)}{P(T|E) P(E)+P(T|\neg E) P(\neg E)}\newline =\frac{0.99 \times 0.0001}{0.99 \times 0.0001+0.01 \times 0.9999}\approx0.0098 $$ 还不到1%。所以,虽然检验结果为阳性,患病的可能性是很低的。

假阳性的例子之所以使用得如此广泛,可能是因为它反直觉,能引人注意,意识到学习数学的重要性。直觉是什么呢?既然检验方法的准确度是99%,那么结果为阳性的人的患病机率就是99%,或者至少近似,而数学计算竟然与患者在总人口中的比例有关,非常不可思议。直觉与数学不一致是否反映了人类认识能力的某种不足?

考虑一个类似的情形,假如是准确度为99%的新闻说某人患病,这个人真正患病的概率也是0.0098吗?新闻中所报道的事大多是小概率事件,假设仍按前面的计算方式,那么新闻就根本不值得相信。显然,虽然名称都是准确度,但含义不同。当我们普通读者说新闻的准确度时,指的是新闻报道的事件真正发生的机率,就是$P(E|T)$。所以被报道患病的人真正患病概率就是99%。相较于普通读者,新闻从业者倒是可能用准确度一词指$P(T|E)$或$P(\neg T|\neg E)$,并且通过改善这一指标来令新闻对读者更为可信。

再回到假阳性的例子,现实中医生看到检验结果为阳性,并不会像数学题目那样,将几个相关概率告诉求诊者,让他自己去计算体会,而是会让他再做一次检查,排除假阳性的情况,再将结果告诉求诊者。求诊者不会把准确度理解为$P(T|E)$或$P(\neg T|\neg E)$,毕竟这对他是间接的,如果不懂概率论就是完全无用的,相反他对医生的话语的可信度会有一个估计,这是直接有用的。

词语可能有多种含义,我们的理解与情境有关。面对假阳性问题时,我们倾向于代入求诊者视角,把准确度理解为$P(E|T)$,常规介绍中的讲解就显得反直觉。如果是检验方法的研发者,则有可能作其他的理解。所以,相较于说数学反直觉,更合适的说法是,数学的作用是清楚地显示出词汇的不同含义。$P(E|T)$、$P(T|E)$、$P(\neg T|\neg E)$这样符号的引入,消除了歧义。有的作者在介绍这个例子时,会给它们不同的名称,这样也就不再显得反直觉。

这一思路并非本文的创见,而是可以追溯到两百多年前贝叶斯(Thomas Bayes,约1701–1761)本人的年代。有的文章在介绍贝叶斯时,会说他研究概率问题是为了证明上帝存在。其实我们对贝叶斯本人的了解很少,比方说,各种介绍文章中出现的贝叶斯画像并不能确定是他。之所以会有这样的说法,除了贝叶斯是一名牧师,主要还是因为他同为牧师的好友理查德·普莱斯(Richard Price,1723–1791)。贝叶斯在世时没有发表关于概率论的论文,是普莱斯将论文发表。哲学家大卫·休谟(David Hume,1711–1776)的《人类理解研究》中有一章“论神迹”,认为诸如耶稣复生之类的神迹不应被相信。作为牧师普莱斯当然不同意他的观点,著书反驳。休谟和普莱斯的论争其实涉及数学的地方很少,与贝叶斯定理更是无关,因为现在所说的贝叶斯定理并非由贝叶斯提出,在当时还不存在。但是近来有人提出了一些基于贝叶斯定理的诠释,其中一种就类似于前面所讲的假阳性例子。

这个诠释成立的一个基础是,虽然贝叶斯定理还没有出现,但休谟已提出——正如假阳性问题所示——事件本身的小概率会减弱证据的证实效果。依照这种诠释,休谟会说,根据日常经验,神迹发生的可能性是极小的,神迹的证据如果要令人信服,它出错的可能性也必须极小。休谟还给出了它究竟要小到何种程度。沿用前面的符号,如要使$P(E|T)>P(\neg E|T)$,也就是$P(E|T)>\frac12$,在两种错误的概率$P(T|\neg E)=P(\neg T|E)$的情况下,由贝叶斯定理有 $$ \frac{(1-P(T|\neg E))P(E)}{(1-P(T|\neg E))P(E)+P(T|\neg E)(1-P(E))}>\frac{1}{2} $$ 即 $$ P(T|\neg E)<P(E) $$ 也就是证据出错的可能性要比神迹发生的可能性更小。而事实上神迹证据的产生和流传是很容易出错的,远远达不到这个要求,所以神迹不应被相信。有这么一句话:“非凡的事实需要非凡的证据”,有人认为就是从休谟此处的论证演变而来,称其为“休谟公理”。普莱斯则会说,上述规则很多时候并不适用,因为准确度可以作直接的理解。一个人告诉你彩票的中奖号码,你对此号码的信任程度就等于你对此人的信任程度,与号码中奖的概率无关,你选择相信此号码并不需要此人出错的机率比号码中奖机率还低。

普莱斯和休谟直接交流过,他们的论争当然有非常重要的宗教因素,但从更为一般的角度,这是关乎人类如何理解证据。前面介绍了一种对这一争论的理解,而这种理解亦有益于我们理解假阳性问题。数学可以帮助我们理解人类的理解,虽然单是数学还谈不上理解。在此种诠释下,休谟的论证不说被推翻,至少是极大地被限制了。但有持相反观点的人认为,需要被限制的不是休谟的论证,而是用数学来分析人类理解。人类对可能的理解许多时候不能用数值来表示,更谈不上运用贝叶斯定理。著名经济学家凯恩斯最早的著作就是关于概率,其中就持此观点,许多研究者将其视为他经济思想的基础。

本人在阅读文献的过程中,开始时偏向休谟的支持者,后来却偏向他的批评者。就从常拿来与可能问题类比的冷暖问题来说,人可以在没有温度数值的情况下谈论冷暖,引入数值未必有帮助,有时还会带来问题,比如30度的天气是热的,而30度的水则只是温的。不过这些问题是可以解释的,一般意义上,我们会说温度数值是有助于而非有碍于我们理解冷暖。在普遍数字化的今天,我们也很难想象冷暖是不可数值化的。概率论和可能之间似乎也可作此理解。休谟或许不能接受对可能做贝叶斯式计算,但他笔下的可能是需要比大小和增减的,仍然需要某种形式的运算。休谟的支持者虽然可以让人看到前人思想的深度,却难以将此种运算进一步细化。而基于概率论的诠释目前虽不完善,但能给出新意,仍是更为可能的进路。此类诠释未能完全贴合休谟的文本未必是缺点,倒可以是优势。