带局部统计识别高频词汇及人名识别的Lucene中文分词

经过努力终于在 引入局部统计识别高频词汇的Lucene中文分词程序 以及 基于词典的最大匹配的Lucene中文分词程序 把中文人名识别功能加入，能把大部分的中文姓名识别出来，结果喜人。

原理：

根据贝叶斯定理，分别建立中文形式库FirstName.stu，从网上搜集得到的真实姓名库Name.stu，以及以姓氏为开头但非中文姓名的词库（如“曾经是”，“关门”，“陈述”等）UnName.stu。然后先使用之前完成的基于词典的最大匹配分词算法对文本进行初步分词，然后利用Spring的AOP把人名识别器SimpleChineseNameAnalyzer编织到初步分词方法执行之后，利用姓氏驱动的方式遍历分词碎片，找到所有以姓氏开头后两个分词结果为单字或后一个分词结果为双字词的碎片（成为候选词），分别从Name.stu以及UnName.stu中获取姓氏以及各个名字成为姓名的概率，最后判断候选词前后是否存在边界词汇，若有则对其进行概率调整，最终通过与阀值的比较判断是否是一个中文姓名。

用法：

测试数据：

东方网记者靳慧、张海盈、实习生霍世杰5月20日报道：今天上午10点，同济大学建校100周年庆典大会在同济大学大礼堂隆重举行。中共中央总书记、国家主席胡锦涛发来贺信。全国人大常委会副委员长李铁映，全国人大常委会副委员长顾秀莲，国务委员陈至立，中共上海市委书记习近平，德国前总理施罗德，中央纪委副书记张惠新，教育部部长周济，建设部部长汪光焘，中共上海市委副书记、市长韩正，科技部党组书记、副部长李学勇等出席庆典大会。

　　庆典大会上首先宣读胡锦涛总书记贺信，之后科技部部长、同济大学校长万钢从“大学对社会的承诺”的角度讲述百年同济的辉煌历史和未来发展。来自德国柏林工业大学的校长库茨勒、中国科学院院士吴孟超、同济大学交通运输工程学院孙立军等也将作为友好学校代表、校友代表、师生代表先后致辞。

　　今天早晨8点开始，同济大学的师生、老校友们就陆续进入庆典大会会场，会场大屏幕上滚动播放着建校100周年的宣传片。庆典大会开始前举行了同济老校友互动活动，现场十分感人。

　　同济大学是教育部直属重点大学，创建于1907年，早期为德国医生在上海创办的德文医学堂，取名"同济"意蕴合作共济。1912年增设工学堂，1923年被批准改名为大学，1927年正式定为国立同济大学。抗战期间曾内迁经浙、赣、滇入川，1946年回迁上海并发展为以拥有理、工、医、文、法五大学院著称海内外的综合性大学。1952年院系调整后，同济大学成为国内土木建筑领域最大、专业最全的工科大学。

　　1978年经中央批准恢复对德交流，在中科院学部委员李国豪校长领导下实行“两个转变”，即由土木为主的理工科大学向理工为主的多科性大学转变，由国内普通高校向作为中外文化交流“窗口”之一的国际性大学转变，从而迅速恢复和发展成为一所以工为主、理工结合，经、管、文、法各具特色的多科性大学。

测试结果：

SimpleChineseNameAnalyzer代码（Part 1）：

Part 2