基于Q學(xué)習(xí)的生物序列比對方法.pdf

1、序列比對是生物信息學(xué)中最常見的問題之一,也是一種重要的生物信息處理技術(shù).它通過對生物序列數(shù)據(jù)進(jìn)相似性比較,來發(fā)現(xiàn)生物序列中的功能、結(jié)構(gòu)和進(jìn)化等信息,是基因識別、分子進(jìn)化、生命起源等生物信息學(xué)研究的基礎(chǔ). 強(qiáng)化學(xué)習(xí)是一種無監(jiān)督的機(jī)器學(xué)習(xí)技術(shù),能夠利用不確定的環(huán)境獎賞發(fā)現(xiàn)最優(yōu)的行為序列,實現(xiàn)動態(tài)環(huán)境下的在線學(xué)習(xí),因此被廣泛用于Agent的智能決策.目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法,它是在強(qiáng)化學(xué)習(xí)基礎(chǔ)之上發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法,因其

2、自身特點已經(jīng)成為人工智能領(lǐng)域的研究熱點.但Q學(xué)習(xí)本身存在一些問題.首先,watkins提出的Q學(xué)習(xí)原型,采用貪婪策略選擇當(dāng)前動作,這種策略是一種一步策略,使得當(dāng)前動作對于將來影響估計不足;其次,當(dāng)狀態(tài)空間很大時,Q學(xué)習(xí)算法的存儲空間比較大而且學(xué)習(xí)速度較慢.本文針對生物序列比對中的具體問題,對Q學(xué)習(xí)算法進(jìn)行了一些擴(kuò)充和改進(jìn),提出一種基于Q學(xué)習(xí)的生物序列比對方法. 本文的主要工作為:1.提出一種基于Q學(xué)習(xí)的生物序列比對方法用Q學(xué)習(xí)的

3、方法解決序列排列的問題的思想:把尋找兩條序列最佳排列的過程視為一個Agent自主學(xué)習(xí),尋找最有策略的過程.在該過程中把待比對序列和為了獲得最佳排列而插入序列的空格視為一組狀態(tài),把直達(dá)下一個核苷酸(氨基酸)還是插入空格看作是將要采取的行動,采用空位罰分或者打分矩陣計作為評價函數(shù),計算Agent每一次采取不同行動的立即受益,計算每種策略的累積預(yù)期收益,選擇累積預(yù)期收益最大的策略指導(dǎo)下一步的行動,將獲得最大收益的序列作為最終的最佳序列排列.在

4、計算累積預(yù)期收益的過程中引入多步Q學(xué)習(xí)機(jī)制,選擇當(dāng)前狀態(tài)直至將來k步的最優(yōu)策略指導(dǎo)下一步的行動.這樣既避免了Watkins Q學(xué)習(xí)采用貪婪策略選擇當(dāng)前最優(yōu)策略的一步策略短視問題,又避免了Q(λ)學(xué)習(xí)的狀態(tài)行動對數(shù)量過于龐大,引起的收斂速度慢的問題.給出了時間復(fù)雜度和空間復(fù)雜度的公式證明,通過實驗證明該方法有效地降低了時間復(fù)雜度和空間復(fù)雜度(O(kn)).利用vc++6.0在windovs XP平臺上開發(fā)完成SAQL模型.取得了令人滿意的