概率论03 条件概率(ZZ)

出处:http://www.cnblogs.com/vamei

在概率公理中,我们建立了“概率测度”的概念,并使用“面积”来类比。这是对概率的第一步探索。为了让概率这个工具更加有用,数学家进一步构筑了“条件概率”,来深入探索概率中包含的数学结构。我们可以考虑生活中常见的一个估计:

三个公司开发一块地。A占地20%,B占地30%,C占地50%。三个公司规划的绿地占比不同:A土地中40%规划为绿地,B土地中的30%规划为绿地,C土地中的10%规划为绿地。我想选择绿地最大的一个小区,应该选择哪一个呢?我们可以画图出来:

显然,我们需要比较的是A:0.2×0.4,B:0.3×0.1,C:0.5×0.1。这是我们常见的一种情形:整个地区分块,每块有一定的比例。再进一步考虑每一块内部的相对比例。我们要了解的“条件概率”这一概念,就对应这里的“相对比例”。

(我们要研究就是各种不确定的事件,以及这些事件之间的关系,而条件概率恰好是这样一种工具!它能够描述事件与事件之间的关系)

条件概率:何弃疗
上面公司的不同造成了绿地占比的不同,也就是说,公司这一因素影响了绿地占比。条件概率同样反映了其它因素对事件概率的影响。

比如说,患者康复有一个概率。在接受治疗和放弃治疗的两种条件下,患者康复的概率也不同。下面是患者的统计结果。

治疗(T)   弃疗(NT)  总数

康复(R) 300 100 400
未康复(NR) 200 400 600
总数 500 500 1000

所有的1000人中,共有400人康复,总体的康复概率为[P(R)=400/1000=0.4]。另一方面,在接受治疗一列,总共有500人。在这500人种,有300人康复。因此,在接受治疗的条件下,康复的概率变成[300/500=0.6]。这个概率值高于总体的康复概率。而放弃治疗的条件下,康复的概率为[100/500=0.2],康复的概率较低 (可恶,为何放弃治疗)。可见,康复率受到是否接受治疗这一条件的影响。

为了表达某一事件(治疗)对另一个事件(康复)概率的影响,概率论中引入条件概率的概念。条件概率记为[P(R|T)=300/500=0.6]。R和T是两个事件,即治疗和康复。在治疗(T)的条件下,患者康复(R)的概率为0.6。

(对应文章开始的例子,每个公司的绿地占比为条件概率。比如[P(绿地|A公司)=40])

不要放弃治疗啊!

条件概率的定义
上面给出了条件概率的粗糙概念。但我们已经了解了概率的公理化体系,因此可以基于公理化体系,更严格的定义条件概率。

定义 如果A和B是两个事件,且[P(B)≠0]。那么B条件下,A的条件概率为

P(A|B)=P(A∩B)P(B)
这是一个非常直观的概念。回到绿地的例子,这里的意思就是说,我们想要知道A公司的绿地占比[P(绿地|A公司)]的话,可以用A公司占据的绿地面积[P(A公司∩绿地)],除以A公司占据土地的面积[P(A公司)]。

在上面定义条件概率时,我们使用了概率[P(A∩B)],即A和B同时发生的概率。从频率的角度上来看,是同时符合A和B的样本数除以[Ω]中的样本总数。比如上面治疗和康复的例子,[P(R∩T)=300/1000]。但[P(A|B)]的隐含假设是,B确定要发生,即病人确定康复。符合这样条件的样本只有500个,而不是整个[Ω]的1000个样本。

也就是说,当确定B发生时,样本空间不再是[Ω],而是缩小成B。我们在B样本空间中寻找A发生的概率。从上面的图中看,就是[A∩B]的面积(概率测度),除以B占据的面积(概率测度),也就是我们条件概率的定义。

条件概率的相关推论
条件概率有一些很有用的推论:

推论1 A和B为两个事件,且[P(B)≠0]。那么

P(A∩B)=P(A|B)P(B)
这个只是将上面的定义中的等式两侧乘以P(B)。从而允许我们从条件概率,来推导两个事件同时发生的概率。

假设卫星观察到,一个地区某一天有云的概率为[P(Cloud)=0.2]。该地区的地面观测站发现,有云的条件下,当天下雨的为0.5。这是一个条件概率,即[P(Rain|Cloud)=0.5]。那么既下雨又有云的概率为

P(Cloud∩Rain)=P(Cloud)×P(Rain|Cloud)=0.2×0.5=0.1

另一个推论,用于通过已知的条件概率,来计算一个事件的概率

推论2 有事件[B1,B2,…,Bn]。如果[?ni=1Bi=Ω],两个不同事件互斥([Bi∩Bj=Φ], 如果[i≠j]),且任意[P(Bi)>0]。那么,对于任意事件A

P(A)=∑i=1nP(A|Bi)P(Bi)
这个推论的要点是不同的B事件互斥(不相交),且它们的并集是[Ω]。每个元素都必须且只能进入一个[Bi]。在这样的条件下,我们说[B1,B2,…,Bn]是样本空间的一个分割(partion)。 这就像二战后的德国被分区占领一样,每个[Bi]是一个占领区。

这正是对所有情况“分块”的思想。再根据每个分块中的某个事件的相对比例,乘以分块自身的权重(“块”的概率),我们可以求得该事件的绝对占比。

假设家庭收入分为高(H),中(M),低(L)三类,高收入家庭占20%,中等收入家庭占65%,低收入家庭占15%。如果高收入家庭的拥有汽车的概率为0.8,中等收入家庭的拥有汽车的概率为0.5,低收入家庭的拥有汽车的概率为0.2。那么任意一个家庭的拥车概率为:

P(C)=P(C|H)P(H)+P(C|M)P(M)+P(C|L)P(L)=0.8×0.2+0.5×0.65+0.2×0.15=0.515

独立事件
两个事件可以是相互独立的 (independent)。直观的讲,如果事件A发生与否不会影响事件B的概率,那么A与B独立。

我们尝试将这一个概念用条件概率来表达:将B看作A的条件,那么A的条件概率不受B的影响,即:

定义 两个事件A和B,[P(A)≠0],[P(B)≠0]。如果[P(A|B)=P(A)],或者[P(B|A)=P(B)],那么事件A和B是独立事件。

某一条件下的“相对占比”等于任意条件下的“绝对占比”?这是怎么一种情况呢?

我们可以想像这样的情况。水中氢和氧的组成比为2:1 (任意条件下)。而水的三种态(水蒸汽、液态水、冰)中的氢和氧组成也是2:1。也就是说,水的态这一条件对氢氧组成无影响,两者独立。

根据独立事件和条件概率的定义可以推知,如果

P(A∩B)=P(A)P(B)
那么A和B独立。

注意,独立事件和互斥事件不同。独立事件是指A发生的概率不影响B。对于互斥事件来说,如果A发生,那么B必然不发生,A的发生影响到了B,所以不是独立事件。比如下雨和不下雨可以看做互斥事件,而下雨和骰子为1可以看做独立事件。

事件[A_1, A_2, …, A_n]被称为相互独立(mutually independent),如果对于任意子集[A_{i_1},…,A_{i_m}]都有

P(Ai1∩…∩Aim)=P(Ai1)…P(Aim)

贝叶斯法则
根据上面的定律,我们可以推导出贝叶斯法则(Bayes’ Rule)。

贝叶斯法则 如果A和[B1,B2,…,Bn]为事件,[Bi]互斥,[?ni=1Bi=Ω], 且[P(Bi)>0]。那么

P(Bj|A)=P(A|Bj)P(Bj)∑i=1nP(A|Bi)P(Bi)
这个法则是一种求条件概率的方式。

我们使用文章开头的治疗与康复的例子。我们已知治疗和弃疗的条件概率为[P(R|T)=0.6],[P(R/NT)=0.2],而[P(T)=P(NT)=0.5]。

治疗与弃疗互斥(不可能同时治疗又弃疗),且其并集构成全集(要么治疗,要么弃疗,没有其它的可能)。根据贝叶斯法则,

P(T|R)=P(R|T)P(T)P(R|T)P(T)+P(R|NT)P(NT)=0.6×0.50.6×0.5+0.2×0.5=0.75
即一个康复的人,用药的概率。这与我们在表格中看到的比例相符(400个康复的人中,300个人用药)。

贝叶斯法则常用于求一些比较难以直接获得的条件概率。此外,在机器学习中,也有贝叶斯算法的应用。

练习,编写一个Python函数,用于实现贝叶斯法则的功能。并计算下面的概率:

已知专家预报下雨时,下雨的概率为0.8; 专家预报不下雨时,下雨的概率为0.2。根据以往的经验,专家一年中有30天预报下雨,剩下的天里预报不下雨。问,如果下雨,专家预报的是不下雨的概率为多少?

总结
条件概率

独立事件

贝叶斯法则

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注