关注数学发展弘扬科学精神

关注数学发展,弘扬科学精神,专注数学科普

您的位置:主页 > 大学数学 > 如何理解贝叶斯公式

如何理解贝叶斯公式

作者:中科院物理所发布日期:2019-10-15 09:50浏览次数: 来源:微信公众号

贝叶斯公式是概率论基本概念,其核心意义是通过承认我们自身的无知,给不同的假设以调整空间。

一  什么是贝叶斯公式

18世纪英国业余数学家托马斯·贝叶斯(Thomas Bayes,1702~1761)提出过一种看上去似乎显而易见的观点:“用客观的新信息更新我们最初关于某个事物的信念后,我们就会得到一个新的、改进了的信念。” 这个研究成果,因为简单而显得平淡无奇,直到他死后的两年才于1763年由他的朋友理查德·普莱斯帮助发表。它的数学原理很容易理解,简单说就是,如果你看到一个人总是做一些好事,则会推断那个人多半会是一个好人。这就是说,当你不能准确知悉一个事物的本质时,你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。用数学语言表达就是:支持某项属性的事件发生得愈多,则该属性成立的可能性就愈大。与其他统计学方法不同,贝叶斯方法建立在主观判断的基础上,你可以先估计一个值,然后根据客观事实不断修正。

1774年,法国数学家皮埃尔-西蒙·拉普拉斯(Pierre-Simon Laplace,1749-1827)独立地再次发现了贝叶斯公式。拉普拉斯关心的问题是:当存在着大量数据,但数据又可能有各种各样的错误和遗漏的时候,我们如何才能从中找到真实的规律。拉普拉斯研究了男孩和女孩的生育比例。有人观察到,似乎男孩的出生数量比女孩更高。这一假说到底成立不成立呢?拉普拉斯不断地搜集新增的出生记录,并用之推断原有的概率是否准确。每一个新的记录都减少了不确定性的范围。拉普拉斯给出了我们现在所用的贝叶斯公式的表达:

P(A/B)=P(B/A)*P(A)/P(B),

该公式表示在B事件发生的条件下A事件发生的条件概率,等于A事件发生条件下B事件发生的条件概率乘以A事件的概率,再除以B事件发生的概率。公式中,P(A)也叫做先验概率,P(A/B)叫做后验概率。严格地讲,贝叶斯公式至少应被称为“贝叶斯-拉普拉斯公式”。

二  默默无闻200年

贝叶斯公式现在已经非常流行,甚至在热门美剧《生活大爆炸》中谢耳朵也秀了一下。但它真正得到重视和广泛应用却是最近二三十年的事,其间被埋没了200多年。这是为什么呢?原因在于我们有另外一种数学工具——经典统计学,或者叫频率主义统计学(我们在学校学的主要是这种统计学),它在200多年的时间里一直表现不错。从理论上讲,它可以揭示一切现象产生的原因,既不需要构建模型,也不需要默认条件,只要进行足够多次的测量,隐藏在数据背后的原因就会自动揭开面纱。

在经典统计学看来,科学是关于客观事实的研究,我们只要反复观察一个可重复的现象,直到积累了足够多的数据,就能从中推断出有意义的规律。而贝叶斯方法却要求科学家像算命先生一样,从主观猜测出发,这显然不符合科学精神。就连拉普拉斯后来也放弃了贝叶斯方法这一思路,转向经典统计学。因为他发现,如果数据量足够大,人们完全可以通过直接研究这些样本来推断总体的规律。

三  初显威力

长期以来,贝叶斯方法虽然没有得到主流学界的认可,但其实我们经常会不自觉地应用它来进行决策,而且还非常有效。比如在一个陌生的地方找餐馆吃饭,因为之前不了解哪家餐馆好,似乎只能随机选择,但实际上并非如此,我们会根据贝叶斯方法,利用以往积累的经验来提供判断的线索。经验告诉我们,通常那些坐满了客人的餐馆的食物要更美味些,而那些客人寥寥的餐馆,食物可能不怎么样而且可能会被宰。这样,我们就往往通过观察餐厅的上座率来选择餐馆就餐。这就是我们根据先验知识进行的主观判断。在吃过以后我们对这个餐馆有了更多实际的了解,以后再选择时就更加容易了。所以说,在我们认识事物不全面的情况下,贝叶斯方法是一种很好的利用经验帮助作出更合理判断的方法。

总的说来,贝叶斯公式是求一个条件概率,也就是计算简单条件下发生的复杂事件的概率。

小编举一个有趣的例子帮助大家理解。假定小编以某种方式建立了一个数据集,对10000个男生从性格、颜值、才华三个方面进行打分(1~5分),然后让女孩评价对其是否满意。

接下来,我们一起来看一些有趣的事情:

第一天

如何理解贝叶斯公式

图一

小A是一名单身女孩,突然有一天,小A的闺蜜小B神秘兮兮要给她介绍男朋友,但是具体内容一字未提。晚上,小A妹子辗转反侧,不断琢磨着:她会介绍谁呀?条件怎么样嘞?不知道能不能谈得来......这时,根据样本中的“经验”(6428个满意,3572个不满意),小A大概估计了下对未谋面男孩的满意概率:

如何理解贝叶斯公式

图二

分析:即使没有任何信息,仅靠平白无故的直觉,小A遇到如意郎君的概率毕竟有一多半呢!所以,世上还是好人多呀。

第二天

小B中午吃饭的时候,神秘得透露给小A,这个男孩的才华有4分呢。哎呦?不错哦,小A一边有点开心,一边对自己的满意概率进行了调整,根据大名鼎鼎的贝叶斯公式:

如何理解贝叶斯公式

图三

在仅知道男孩的才华为4分的时候,满意概率为:

如何理解贝叶斯公式

图四

分析:当得到男孩的更多信息时,小A便可以运用贝叶斯公式做出更好的判断,明显可以看出后验概率70.11%已经比先验概率64.28%提升了不少。同时,如果男孩是顶级学神,才华=5分,那么这个概率会提升到74.41%!!!

如何理解贝叶斯公式

图五

第三天

小A不知道从哪里搞到了男孩的照片,认真打量一下,挺好的,不至于是超级大帅哥但是看着比较踏实稳重,颜值至少3分吧。就当颜值3分的吧,这个时候,小A再次偷偷调整自己的满意概率。

在知道男孩的才华为4分,颜值为3分的时候,满意概率为:

如何理解贝叶斯公式

图六

分析:显而易见,更多的信息有助于做出更准确判定。颜值=3分帮小A获得了一个信息,男孩子有才华,颜值不差,所以满意概率会有些许上升。另外,聪明的小A在计算概率时,为了简化计算,假设才华与颜值没有任何关系、彼此独立,这便是所谓的“朴素贝叶斯(样本的特征之间彼此无关)”。

第四天

今天,小B决定让这两位互相见见面,认识一下。小A在小B的陪伴下,把自己打扮得美美哒,跟这位男孩一起吃晚饭。谈吐之间,男孩子热情大方开朗,小A对此印象甚是不错。于是乎,小A对最终其打分为性格4分,颜值3分,才华4分。小A当场迅速得计算了下:我跟这位男孩谈恋爱,将来能有多大的概率最终感到满意呢?

如何理解贝叶斯公式

图七

如何理解贝叶斯公式

图八

分析:换一个角度来思考小A的历程,小A在未了解男孩的任何信息的时候,她有35.72%的概率对男孩子不满意,可能是担心男孩的样子她不喜欢,担心他性格暴躁等等;当知道男孩才华为4分时,她的疑虑有所打消,故不满意的概率下降为29.89%;然后每一次得到更多有益的信息,小A的疑虑都会有一定程度的下降。但注意,即使如此,这个性格4分,颜值3分,才华4分的男孩仍然有23.79%的概率使小A不满意,这或许可以用“有缘无分”来解释吧,贝叶斯大爷也无能为力。

第五天

小A开始最后的纠结,她要做出决定:是不是要开始进行这段恋爱关系?

小B:你不是对人家挺满意的嘛?那就去试一试呗。

小A:你说的不错呀,但是我只有76.21%的把握对其满意呀。

小C(小A的舍友):我比较谨慎小心,如果他是一个不满意的男孩,而我把他误认为满意的男孩,那得多痛心疾首啊。如果是我,我更可能拒绝他。四分之一的出错概率呢,还是不低呀。

小A(沉思片刻):我们可以利用“贝叶斯决策理论”来解决。嗯······对于我而言,把一个不满意的男孩误认为是满意的男孩会对我影响不算大,就当有100点影响吧;但是把一个本应感到满意的男孩认定成不满意的男孩,我觉得会受到999点影响,然后

如何理解贝叶斯公式

图九

,我应该认定这是一个满意的男孩。

小B:......

小C:......

分析:小A在最终做决策时,不仅利用了后验概率,还充分考虑了做出错误决策的代价损失。经过计算,这个男孩对小A而言,最终决策是判定为满意男孩;而同样的问题,小C的计算结果则会将其判定为不满意男孩,因为小C十分担心不满意男孩误判成为满意男孩的问题。

这就是贝叶斯公式


(声明:本文仅代表作者观点,不代表本站观点,仅做陈列之用)

[责编:雨滴]

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

欢迎扫描关注我们的微信公众平台!

欢迎扫描关注我们的微信公众平台!