贝叶斯

理论概述

贝叶斯 Thomas Bayes，英国数学家.1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。
　　贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。
　　贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
　　贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1、已知类条件概率密度参数表达式和先验概率。
2、利用贝叶斯公式转换成后验概率。
3、根据后验概率大小进行决策分类。
他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。 贝叶斯公式是他在1763年提出来的：
假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。


贝叶斯公式

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有：
n
P(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)
i=1


color=red][/color]案例：
a:先验概率P(Di)
D1,D2....Dn是样本空间的S的一个划分P(Di)
假定D1,D2...是某个过程的若干可能的前提,则p(x/Dj)是各个前提条件出现可能性大小的估计
b:后验概率P(Dj/x)
在先验的情况下得到一个结果A,那么贝叶斯公式提供了我们根据A的出现对前提条件做出的新评论的方法。
是对以A为前提下Bi的出现概率的重新的认识。
c:前提各种属性之间互相没有什么影响，这样挖掘的速度很快，但是处理的结果不是很准确。
设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有： j是针对一个样本
n
P(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)
i=1
---------------------------------------------------------------------

在进行的投票活动中，投票的人30%是女性，70%是男性。 有80%男性会投黄家强20%男性投黄贯中， 有10%女性投黄贯中有90%男性投黄贯中。如果新来的票的，我来判断如果投了家强是男性还是女性？
分析：
0.3*0.1+0.7*0.8=0.66=59% 支持家强
0.3*0.9+0.7*0.2=0.34=41% 支持贯中

则可以推测出如果他投了支持家强 则是男性的可能性95%

应用于数据挖掘分类的一个著名算法.通常使用朴素bayes,精确度与ID3类似。