基于語(yǔ)音信號(hào)的兒童情感識(shí)別研究.pdf

1、兒童社會(huì)情緒能力的培養(yǎng)和科學(xué)評(píng)測(cè)對(duì)兒童的早期發(fā)展影響巨大，本文的主要研究?jī)?nèi)容是利用計(jì)算機(jī)識(shí)別兒童語(yǔ)音信號(hào)中的情感信息，是兒童社會(huì)情緒能力生物醫(yī)學(xué)工程評(píng)測(cè)方法中的研究熱點(diǎn)和重要依據(jù)。與成人語(yǔ)音情感識(shí)別相比，兒童情感語(yǔ)音數(shù)據(jù)庫(kù)資源稀缺，同時(shí)兒童的聲學(xué)發(fā)展不完全，使得本文的研究具有很大的挑戰(zhàn)。
　　本文的研究以語(yǔ)音情感識(shí)別為基礎(chǔ)，從語(yǔ)音情感識(shí)別系統(tǒng)的各個(gè)模塊詳細(xì)探討了語(yǔ)音情感特征的提取、特征選擇以及情感分類(lèi)三大部分，并在EMO-DB、e

2、NTERFACE和FAU Aibo三個(gè)語(yǔ)音情感數(shù)據(jù)庫(kù)上做了大量的對(duì)比實(shí)驗(yàn)，本文的主要工作安排如下:
　　(1)深入研究了語(yǔ)音情感特征中的聲學(xué)特征，除了較常用的韻律特征和譜特征之外，還采用了近年來(lái)提出的音質(zhì)特征，并且使用了全局統(tǒng)計(jì)特征。相比于前期使用MATLAB作為主要研究工具，本文新穎地使用了openSMILE這一模塊化的靈活的工具來(lái)完成特征提取工作，提取了基音頻率、線(xiàn)譜對(duì)、MFCC等低維描述子及其統(tǒng)計(jì)特征，共計(jì)1582維語(yǔ)音情感

3、特征。
　　(2)為了分析何種語(yǔ)音情感特征包含更多的兒童情感信息，使用了基于A(yíng)daboost的特征選擇方法，選擇出對(duì)兒童語(yǔ)音情感識(shí)別更有效的特征。實(shí)驗(yàn)結(jié)果表明MFCC、線(xiàn)譜對(duì)、對(duì)數(shù)Mel頻率帶寬和抖動(dòng)等特征與兒童語(yǔ)音中的情感信息更加密切。
　　(3)針對(duì)原始語(yǔ)音情感特征集的高度非線(xiàn)性化，提出了一種基于核稀疏表示的語(yǔ)音情感識(shí)別方法，利用核映射將原始特征集映射到高維空間，在高維特征空間中測(cè)試樣本能更好地表示為訓(xùn)練樣本的一個(gè)稀疏的

4、線(xiàn)性組合。與成人表演的語(yǔ)音相比，兒童語(yǔ)音情感數(shù)據(jù)庫(kù)中的樣本含有更多的噪聲，KSRC通過(guò)求解稀疏系數(shù)能起到樣本選擇的功能。
　　(4)提出了一種新的語(yǔ)音情感分類(lèi)方法——核不完全稀疏最小二乘回歸(KISLSR)模型，該模型的創(chuàng)新點(diǎn)體現(xiàn)在模型訓(xùn)練階段同時(shí)利用了已標(biāo)定情感標(biāo)簽和未標(biāo)定情感標(biāo)簽的兩類(lèi)語(yǔ)音數(shù)據(jù)集，可以解決兒童語(yǔ)音情感不易標(biāo)定的問(wèn)題。沒(méi)有核化的不完全稀疏最小二乘回歸模型具有特征選擇的能力，且特征選擇維度不需人為控制，更為高效魯棒