基于Hadoop的科技項(xiàng)目相似度計(jì)算研究.pdf

1、《國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要（2006-2020年）》實(shí)施以來，我國財(cái)政科技投入快速增長，科技項(xiàng)目和資金管理不斷改進(jìn)，為科技事業(yè)發(fā)展提供了有力支撐。同時(shí)也給科技項(xiàng)目管理工作帶來了新的挑戰(zhàn)：第一，隨著科技項(xiàng)目申報(bào)數(shù)量的增加存在項(xiàng)目重復(fù)申報(bào)、重復(fù)立項(xiàng)等突出問題。第二，隨著各學(xué)科不斷細(xì)化以及學(xué)科交叉、融合日益加劇，科技項(xiàng)目研究的廣泛交流與合作是科技發(fā)展的重要推動力，根據(jù)項(xiàng)目的相似度進(jìn)行合理的整合是未來發(fā)展的趨勢。加強(qiáng)項(xiàng)目相似度分析是解決

2、這些問題的關(guān)鍵，項(xiàng)目的相似度分析一般是通過申請書的相似度計(jì)算找到相似項(xiàng)目，從而為項(xiàng)目立項(xiàng)提供一定依據(jù)，論文主要研究內(nèi)容包括以下幾個(gè)方面。
　　首先，分析科技項(xiàng)目相似度計(jì)算的關(guān)鍵技術(shù)，針對科技項(xiàng)目申請書中存在的大量專業(yè)術(shù)語，提出一種改進(jìn)的基于詞序列頻率有向網(wǎng)的未登錄詞識別方法。該方法依據(jù)詞性對項(xiàng)目申請書的分詞進(jìn)行過濾，并結(jié)合停用詞表對提取出的未登錄詞進(jìn)行過濾。將提取出的未登錄詞作為特征詞的一部分，結(jié)合剩余特征詞構(gòu)建基于向量空間和圖模

3、型的申請書表示模型，然后基于該模型計(jì)算申請書的相似度。
　　其次，提出最大團(tuán)方法求解圖模型的相似度。圖模型的相似度可以通過最大公共子圖求解，同時(shí)圖的最大公共子圖問題又可以轉(zhuǎn)化成求解最大團(tuán)問題。
　　最后，隨著科技項(xiàng)目數(shù)量的增加，科技項(xiàng)目相似度計(jì)算涉及到的申請書預(yù)處理、特征詞提取以及相似度計(jì)算等技術(shù)計(jì)算量大、計(jì)算時(shí)間長，為解決這一問題本文結(jié)合Hadoop分布式計(jì)算平臺，利用MapReduce并行計(jì)算框架將申請書相似度計(jì)算每一個(gè)