- 相關(guān)推薦
基于情感識(shí)別的實(shí)時(shí)交互式音樂(lè)可視化研究論文
音樂(lè)可視化的實(shí)現(xiàn)形式與解決方案可謂精彩紛呈。音樂(lè)可視化有著廣泛的應(yīng)用:音樂(lè)分析、信息檢索、表演分析、音樂(lè)教學(xué)、音樂(lè)認(rèn)知、情感表達(dá)、游戲娛樂(lè)。基于不同的應(yīng)用，會(huì)有不同的系統(tǒng)設(shè)計(jì)方案。在教學(xué)領(lǐng)域，可能會(huì)強(qiáng)調(diào)音符、樂(lè)器、旋律、和聲方面;在音樂(lè)廣場(chǎng)，通過(guò)控制的相關(guān)技術(shù)來(lái)實(shí)現(xiàn)音樂(lè)噴泉，著重表達(dá)噴水的花型組合變化、水柱高低、遠(yuǎn)近變化等;在大型表演、酒吧、展覽現(xiàn)場(chǎng)，可能會(huì)更強(qiáng)調(diào)畫面帶來(lái)的強(qiáng)烈的視覺(jué)沖擊;在游戲領(lǐng)域，可能會(huì)著重表現(xiàn)音樂(lè)自身包含的情感因素，通過(guò)虛擬角色的面部表情、動(dòng)作變化及場(chǎng)景的變換來(lái)實(shí)現(xiàn)，等等。
4.1用戶接口及系統(tǒng)構(gòu)架
本系統(tǒng)設(shè)計(jì)為基于情感識(shí)別的實(shí)時(shí)交互式音樂(lè)可視化系統(tǒng)，采用一個(gè)可選的虛擬角色進(jìn)行情感動(dòng)作表達(dá)。系統(tǒng)需要減少系統(tǒng)負(fù)載和同時(shí)能夠?qū)崟r(shí)性地進(jìn)行一音樂(lè)分析和可視化表演，從現(xiàn)場(chǎng)表演的麥克風(fēng)和電子琴的音樂(lè)輸入中提取出來(lái)的音樂(lè)特征通過(guò)相關(guān)信息處理和數(shù)據(jù)過(guò)濾，然后發(fā)送到音樂(lè)動(dòng)畫腳本和引擎，最后通過(guò)虛擬角色進(jìn)行音樂(lè)情感的動(dòng)作表達(dá)。本文希望允許用戶與虛擬角色有一個(gè)沉浸式的交互體驗(yàn)，計(jì)算機(jī)的顯示屏幕無(wú)法滿足大型展覽、表演現(xiàn)場(chǎng)的要求，虛擬現(xiàn)實(shí)的沉浸感也要求突破計(jì)算機(jī)顯示尺寸的限制，使用大屏幕顯示，可以采用圓柱型、洞穴狀、或者矩形塊拼接的大屏幕進(jìn)行逼真顯示，強(qiáng)制性制造出強(qiáng)勁的可視化效果。為了滿足這個(gè)要求，可以把這個(gè)虛擬環(huán)境顯示到一個(gè)大屏幕上，比如矩形塊拼接的大屏幕或洞穴狀的大屏幕，該屏幕可以提供實(shí)體大小的立體圖像，希望大屏幕立體顯示和人們的自然的用戶輸入方式可以縮短虛擬與現(xiàn)實(shí)之間的距離，通過(guò)這種方法，用戶可以體驗(yàn)到這種與三維實(shí)體大小的虛擬場(chǎng)景的現(xiàn)實(shí)性的交互而產(chǎn)生的幻覺(jué)，允許用戶與觀察者體驗(yàn)這種表演者與虛擬角色之間的真正的交互而產(chǎn)生的強(qiáng)制性的沉浸感。能用一種很自然的音樂(lè)表達(dá)方式與虛擬角色進(jìn)行交互也是很重要的。因此，本文應(yīng)該確保一旦設(shè)計(jì)為該方式的系統(tǒng)運(yùn)行起來(lái)，用戶僅僅需要提供MIDI控制器或者麥克風(fēng)的音樂(lè)輸入方式就可以與程序進(jìn)行交互。麥克風(fēng)與MIDI控制器應(yīng)該放置在特定的位置，以便當(dāng)用戶實(shí)時(shí)表演時(shí)可以很方便地觀察到虛擬角色的反應(yīng)。能夠體現(xiàn)音樂(lè)情感，同時(shí)又具體極強(qiáng)的可觀賞性和趣味性的音樂(lè)可視化系統(tǒng)是本文的追求。本文將圍繞音樂(lè)情感為中心建立一個(gè)音樂(lè)可視化系統(tǒng)，可以用來(lái)音樂(lè)分析和音樂(lè)可視化，通過(guò)對(duì)現(xiàn)場(chǎng)表演的實(shí)時(shí)語(yǔ)音及MIDI處理輸入，通過(guò)處理、分析，最后映射到虛擬角色中。系統(tǒng)以麥克風(fēng)和電子琴作為輸入?yún)?shù)，通過(guò)處理，提取出相關(guān)的音樂(lè)特征，隨后進(jìn)行情感檢測(cè)處理，實(shí)時(shí)性地用虛擬角色面部表情和動(dòng)作變化、虛擬場(chǎng)景的變換來(lái)表達(dá)情感因素，最后通過(guò)大屏幕進(jìn)行顯示。
圖4一2音樂(lè)感知過(guò)濾層流程圖
音樂(lè)感知過(guò)濾層的作用是雙方面的。一方面，系統(tǒng)需要分析復(fù)雜的音樂(lè)數(shù)據(jù)輸入流，以便提取有意義的音樂(lè)特征來(lái)準(zhǔn)備后面的相關(guān)工作。另一方面，為了保證能模擬人類對(duì)音樂(lè)的情感反應(yīng)的要求，系統(tǒng)需要采用前人對(duì)音樂(lè)情感方面的研究方法來(lái)組織這些特征。為了使角色得到音頻信息流中的有用信息，系統(tǒng)需要將這種流變成一種簡(jiǎn)單的格式。因此本文在系統(tǒng)框架中添加了這種額外的音樂(lè)感知過(guò)濾層。在這一層中系統(tǒng)通過(guò)分析輸入的音頻信息，提取出重要的音樂(lè)特征，然后再將該層的結(jié)果作為輸入傳送給角色及場(chǎng)景認(rèn)知層。為了對(duì)現(xiàn)場(chǎng)音樂(lè)表演中進(jìn)行特征提取，系統(tǒng)對(duì)麥克風(fēng)和電子琴的輸入進(jìn)行處理。本文采用MIDI接口和錄音設(shè)備從現(xiàn)場(chǎng)音樂(lè)輸入流中提取重要的特征，通過(guò)一系列變換處理，可以得到感興趣的特征如歌聲的音高、歌聲的振幅、歌聲的音調(diào)、描述歌手音色的數(shù)據(jù)等。同時(shí)，系統(tǒng)也對(duì)電子琴輸入的特定的和音感興趣，可以將輸入的MIDI信息與預(yù)定義的和音信息相比較，然后提取出匹配的和音信息。這樣，對(duì)現(xiàn)場(chǎng)原始數(shù)據(jù)進(jìn)行處理之后，就生成了音樂(lè)的數(shù)字化描述。最后再將這些提取出來(lái)的音樂(lè)特征發(fā)送到特征記錄器中進(jìn)行下一階段的處理，以便滿足復(fù)雜的實(shí)時(shí)的音頻分析的要求。
4.2.1特征提取
西方調(diào)式音樂(lè)，至少是由一系列音高、持久度和振幅組成，都是由一些和聲結(jié)構(gòu)的規(guī)則約束的。通過(guò)Hevner、Famsworth等人140，4’l的研究實(shí)驗(yàn)表明，音樂(lè)是可以表達(dá)情感的，即使對(duì)不懂音樂(lè)的人來(lái)說(shuō)，他們也會(huì)感知到音樂(lè)中的一些潛在的和聲規(guī)則產(chǎn)生的音樂(lè)情感，同時(shí)做出相關(guān)的情感反應(yīng)。在此音樂(lè)可視化系統(tǒng)中本文采用這些情感規(guī)則來(lái)處理音樂(lè)輸入，讓虛擬角色獲得認(rèn)知技能。在認(rèn)知層中，本文假定輸入的音樂(lè)是有調(diào)的，這樣可以方便在認(rèn)知層中對(duì)音樂(lè)情感意義的處理。因?yàn)樵搶犹崛〕鰜?lái)的音樂(lè)特征在表演者和虛擬角色的整個(gè)交互過(guò)程中是最重要的，所以本文把主要精力放在對(duì)該感知層的處理上，在介紹該層時(shí)需要不少篇幅。對(duì)于電子琴的和音輸入，處理方法比較簡(jiǎn)單，利用電子琴通過(guò)MIDI接口將音樂(lè)信號(hào)發(fā)送到計(jì)算機(jī)，根據(jù)電子琴的參數(shù)規(guī)格可以很方便地得到現(xiàn)場(chǎng)彈奏的音高、持久度、速度、力度等信息。樂(lè)音體系首先是由于唱歌實(shí)踐的結(jié)果而形成的，因此樂(lè)音體系中大部分的音是人的嗓音可唱的音。由于器樂(lè)的發(fā)達(dá)，就得用每秒鐘振動(dòng)16次到4000次之間的若干音來(lái)補(bǔ)充樂(lè)音體系。雖然如此在樂(lè)器上最富于表現(xiàn)力的音域和人聲唱歌的音域是近乎一致的(頻率范圍大約為60到l000Hz)。
對(duì)于麥克風(fēng)輸入的歌聲的處理，系統(tǒng)可以通過(guò)錄音設(shè)備得到的數(shù)據(jù)，分析其頻率和振幅，參考國(guó)際標(biāo)準(zhǔn)音高(即鋼琴上小字一組的A)對(duì)應(yīng)的頻率為440Hz，每一個(gè)八度之間頻率增加一倍，比如C比上一音階的C，D比上一音階的D的頻率增加一倍。中間的頻率，按照十二平均律公式算出來(lái):由此可以得到所有音高。振幅與音量、持久度有關(guān)，音量可以由系統(tǒng)自定義，將處于某一范圍的振幅認(rèn)為是音高對(duì)應(yīng)的音量，持續(xù)的時(shí)間即為音高的時(shí)值，或稱持久度。
4.2.2特征組織
為了組織和音內(nèi)容的輸入，本文采用現(xiàn)在通用的音樂(lè)編碼系統(tǒng)【59]。該編碼系統(tǒng)的核心是采用一種字母表的概念，選定一個(gè)參考的字母元素，其它所有元素就可以通過(guò)與這個(gè)參考元素的關(guān)系來(lái)描述出來(lái)。本文的音樂(lè)可視化系統(tǒng)需要編碼現(xiàn)場(chǎng)音樂(lè)輸入的特征信息，因此，本文選擇調(diào)的主音來(lái)作為參考音符。所有的后面感知到的音符都將使用該參考元素進(jìn)行編碼，因?yàn)樗鼈兌寂c調(diào)式音階的主音相關(guān)。下面舉一個(gè)例子來(lái)說(shuō)明這種編碼系統(tǒng):在C調(diào)音樂(lè)中，主音音符C，將作為參考音符。如果選擇的字母表是半音階(一個(gè)音階包含12個(gè)半音)，D(即c上的
大二度)將用字母表中在主音參考音符之上的2步來(lái)代表，而喇即C上的小三度)則用字母表中在主音參考音符之上的3步來(lái)代表。音符是由音高和持久度組成的，上面描述的音樂(lè)編碼系統(tǒng)是針對(duì)音高的，再結(jié)合在電子琴中彈奏的持久度，系統(tǒng)可以描述每一個(gè)歌聲片斷中的音符。為了決定哪一個(gè)音符是被表演者強(qiáng)調(diào)的，本文可以采用這樣的方法:當(dāng)某音符有別于周圍其它的音符的時(shí)候就可以認(rèn)為該音符是被強(qiáng)調(diào)的，比如增大的音量或者高低音符間的突然的轉(zhuǎn)變。通過(guò)第三章提出的螺旋模型和調(diào)性確定算法，分析音高序列的前面若干個(gè)音高事件，確定該音樂(lè)的調(diào)性、節(jié)奏和速度，然后將特征提取階段得到的音高序列轉(zhuǎn)換為旋律，得到的所有這些數(shù)據(jù)就放到特征記錄器中，以便為下一階段的處理做好準(zhǔn)備。4.3角色及場(chǎng)景認(rèn)知層
基于該層的感知處理，角色評(píng)估接收到的數(shù)據(jù)，決定應(yīng)該如何反應(yīng)。角色需要分析它們接收到的輸入和決定一個(gè)大致的反應(yīng)行為。在該層中，角色的個(gè)性是由如何感知事件進(jìn)而影響角色的內(nèi)部狀態(tài)來(lái)定義的。本節(jié)將描述系統(tǒng)的動(dòng)畫角色是如何模擬一個(gè)對(duì)感知到的音樂(lè)特征的情感的理解的。
4.3.1情感檢tll
在認(rèn)知層中，由感知層發(fā)送過(guò)來(lái)的信息需要被接收和分析，用來(lái)模擬虛擬角色的內(nèi)部狀態(tài)。特征組織器中包含了這些現(xiàn)場(chǎng)音樂(lè)表演的信息(歌聲音程、每個(gè)歌聲音符的重要性數(shù)據(jù)、關(guān)于歌聲節(jié)奏的信息以及用戶彈奏的和音數(shù)據(jù))。然后本文需要模擬一個(gè)對(duì)感知數(shù)據(jù)的認(rèn)知意識(shí)，因?yàn)榻巧枰幸粋�(gè)通過(guò)動(dòng)作表達(dá)出來(lái)的感興趣的內(nèi)部狀態(tài)。音樂(lè)表演的認(rèn)知意識(shí)可以采取多種形式。當(dāng)聽(tīng)到一個(gè)關(guān)于愉快的特別的旋律時(shí)，角色可能會(huì)感覺(jué)到快樂(lè)，或者當(dāng)接收到一系列感覺(jué)恐怖的特定的和音，角色則可能會(huì)進(jìn)入一個(gè)恐懼的狀態(tài)。為了給角色的認(rèn)知?jiǎng)?chuàng)建一個(gè)有意思的和靈活的認(rèn)知層，本文選擇了Cooke在文獻(xiàn)[431中對(duì)音樂(lè)的研究，特別是對(duì)音樂(lè)情感的研究。Cooke在文獻(xiàn)[43}中的經(jīng)典研究為本文提供一個(gè)全新的視角來(lái)觀察音樂(lè)和情感之間的更一般性的關(guān)系。為了實(shí)現(xiàn)這種像角色喜歡一些特定的旋律而不喜歡另外一些，系統(tǒng)可以創(chuàng)建一個(gè)針對(duì)音樂(lè)理論特征的足夠靈活的角色用來(lái)模擬情感反應(yīng)。Cooke己經(jīng)從大量的音樂(lè)片斷中識(shí)別特定的特征，使用一種更一般性的方法提出使用在調(diào)式音樂(lè)中的一些特定的特征用來(lái)表現(xiàn)特定的情感概念Cooke識(shí)別出音階中所有十二個(gè)音符的基本的表達(dá)功能。如果一個(gè)旋律里包含很多小三度的實(shí)例，Cooke認(rèn)為這些片斷的恰當(dāng)解釋應(yīng)該是表達(dá)出“難以接受的”或者是“悲傷的”情感。很多著名的包含小三度的表達(dá)悲傷情感的音樂(lè)作品實(shí)例可以映證這個(gè)結(jié)論，例如Strauss的《蒂爾小丑》中蒂爾被處死的地方。
相反，Cooke引用美國(guó)流行歌曲《Polly一woll夢(mèng)doodle》來(lái)說(shuō)明大三度是代表“和諧的”或者“愉悅的”情感。通過(guò)應(yīng)用這種對(duì)音樂(lè)旋律的規(guī)則，系統(tǒng)可指定現(xiàn)場(chǎng)音樂(lè)表達(dá)的認(rèn)知意義。系統(tǒng)的音樂(lè)感知過(guò)濾層通過(guò)特征提取，對(duì)現(xiàn)場(chǎng)音樂(lè)的上下文描述了所有的音樂(lè)旋律中的音符。了解這些以后，本文可以很容易地將音高關(guān)聯(lián)到Cooke提出的情感上下文。這種情感上下文可以用來(lái)修改動(dòng)畫角色的內(nèi)部狀態(tài)并月.觸發(fā)相關(guān)的反應(yīng)行為。該音樂(lè)動(dòng)畫系統(tǒng)使用一個(gè)“驅(qū)動(dòng)系統(tǒng)”來(lái)控制角色的行為。很多電腦游戲玩家都很熟悉這種機(jī)制，即這樣的驅(qū)動(dòng)系統(tǒng)是操作在一定原則之上的，那就是一旦特定角色特征的級(jí)別達(dá)到了一個(gè)觸發(fā)的最大值或者最小值，角色的行為就被觸發(fā)。例如，當(dāng)角色的能量驅(qū)動(dòng)達(dá)到最小值時(shí)，它就趴下睡覺(jué)，而當(dāng)能量驅(qū)動(dòng)達(dá)到最大值時(shí)，它就馬上爬起來(lái)。系統(tǒng)的角色就是使用這種驅(qū)動(dòng)系統(tǒng)來(lái)表達(dá)它們的情感狀態(tài)的。根據(jù)Cooke的理論，小三度意味著悲傷，而大三度則表示快樂(lè)。系統(tǒng)的角色可以有一個(gè)“快樂(lè)驅(qū)動(dòng)”，當(dāng)歌手唱出一個(gè)包含很多大三度的旋律時(shí)，這個(gè)級(jí)別值就增加，而如果是小三度則減小。既然系統(tǒng)的感知層也可以分配相應(yīng)的意義值到每一個(gè)歌唱音符，“快樂(lè)驅(qū)動(dòng)”的增加量或者減少量也可以由音符的意義值決定。提取出來(lái)的其它的音樂(lè)特征，如和音、歌唱音色等，也可以用來(lái)影響角色反應(yīng)的驅(qū)動(dòng)。在現(xiàn)場(chǎng)音樂(lè)表演期間，對(duì)音樂(lè)輸入的認(rèn)知處理允許動(dòng)畫角色維持一個(gè)變化中的情感狀態(tài)。音樂(lè)動(dòng)畫表達(dá)層使用動(dòng)畫來(lái)可視化角色行為，這種情感狀態(tài)隨后可以通過(guò)表達(dá)層傳達(dá)給觀眾。
4.3.2其它因素的認(rèn)知
在情感色彩方面，調(diào)式是音樂(lè)的一種極重要的表現(xiàn)手法，因?yàn)樗鼙憩F(xiàn)內(nèi)容的某引起重要情調(diào)。在這方面說(shuō)來(lái)，每一調(diào)式由于它的表現(xiàn)能力而在各種類型的作品中被應(yīng)用。調(diào)式和內(nèi)容的各種關(guān)系是極少有例外的。例如普通總是以大調(diào)來(lái)表現(xiàn)勝利，小調(diào)來(lái)表現(xiàn)悲傷、憂愁�？墒钦{(diào)式能如此廣泛應(yīng)用還是因?yàn)樽髌分械膬?nèi)容是由許多手法，如調(diào)式、旋律的方向、旋律中的音程、節(jié)奏、速度、音的強(qiáng)弱變化、音的力量、音區(qū)、音色等的結(jié)合來(lái)表現(xiàn)的，而式在這必需的結(jié)合中不
過(guò)是手法之一。完美的可視化呈現(xiàn)需要考慮多方面的因素，除了上述因素對(duì)情感方面的表現(xiàn)力之外，還應(yīng)考慮它們對(duì)其他心理感受的表現(xiàn)力。例如高的音高與低的音高相比，表現(xiàn)為亮、高、輕、小、敏捷;強(qiáng)的音比弱的音相比，表現(xiàn)為大、重、近;慢的音與快的音相比，表現(xiàn)為大、重、慢、穩(wěn)重;快的起音與慢的起音，表現(xiàn)為生硬、果斷、急躁、兇狠t421。
4.4角色及場(chǎng)景表達(dá)層
角色需要展示可視化的動(dòng)作來(lái)表明它們認(rèn)知的狀態(tài)。當(dāng)一個(gè)動(dòng)畫角色己經(jīng)處理了感知的數(shù)據(jù)并且決定做出怎樣的身體反應(yīng)行為時(shí)，這些行為將會(huì)通過(guò)動(dòng)畫的形式表達(dá)出來(lái)。該音樂(lè)動(dòng)畫系統(tǒng)在運(yùn)行時(shí)生成了這些動(dòng)畫，可以通過(guò)一種過(guò)渡的動(dòng)畫來(lái)逐步地添加到各種不同的預(yù)定義的姿勢(shì)之間。動(dòng)畫的行為在情感或強(qiáng)度之間變化，從而體現(xiàn)出虛擬角色的認(rèn)知狀態(tài)。本節(jié)將描述角色和場(chǎng)景表達(dá)層是如何工作的。
4.4.1將音樂(lè)映射到行為
在認(rèn)知層中，角色的內(nèi)部狀態(tài)被定義好了。然后這種內(nèi)部的狀態(tài)通過(guò)表達(dá)層中自動(dòng)生成的動(dòng)畫來(lái)實(shí)現(xiàn)可視化。為了完成這種音樂(lè)可視化效果，系統(tǒng)需要?jiǎng)?chuàng)建一種足夠復(fù)雜的角色用來(lái)產(chǎn)生行為，這種行為被使用者和觀察者認(rèn)為將是音樂(lè)輸入的及時(shí)反應(yīng)。角色需要監(jiān)視感知層的數(shù)據(jù)，從而決定如何反應(yīng)。每一個(gè)角色需要注意特定類型的數(shù)據(jù)并且忽略其它的數(shù)據(jù)。有些角色可能對(duì)所有的歌聲的音高和振幅感興趣，而其它的角色僅僅關(guān)心從鍵盤輸入的大小和弦。這些決策是由設(shè)計(jì)出角色的程序設(shè)計(jì)者做出的，即角色只對(duì)特定數(shù)目的特征感興趣。下面就以一個(gè)角色來(lái)舉例說(shuō)明。當(dāng)用戶唱出一個(gè)高于中央C的音高，在為該事件負(fù)責(zé)的音樂(lè)感知過(guò)濾層中，就在特征記錄器的旋律中就寫下該音高事件的發(fā)生。該角色監(jiān)視旋律中的音高信碩十學(xué)位論文第四章音樂(lè)可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)息，當(dāng)感知到該事件的時(shí)候，它的注意力就馬上集中起來(lái)。該過(guò)程是由一段動(dòng)畫來(lái)表示的，即角色當(dāng)事件的發(fā)生時(shí)轉(zhuǎn)變?yōu)楸磉_(dá)出一個(gè)“專心的”狀態(tài)。如果該角色長(zhǎng)時(shí)間地沒(méi)有聽(tīng)到任何歌聲，則它變得很無(wú)聊，然后開(kāi)始趴下睡覺(jué)。只有當(dāng)用戶選擇發(fā)出另一個(gè)相似的音高，它才醒來(lái)，在這段時(shí)間里它的注意力不太集中，會(huì)忽略掉一些小小的噪聲。這種行為控制類型被稱為驅(qū)動(dòng)機(jī)制，即對(duì)角色的每一個(gè)狀態(tài)都匹配一個(gè)驅(qū)動(dòng)。更完善的驅(qū)動(dòng)機(jī)制是，每一個(gè)驅(qū)動(dòng)都有一定的級(jí)別值，驅(qū)動(dòng)系統(tǒng)監(jiān)視每一個(gè)狀態(tài)的當(dāng)前的級(jí)別，當(dāng)?shù)竭_(dá)閉值時(shí)刁‘觸發(fā)相應(yīng)的行為。在上例中，與角色內(nèi)部狀態(tài)相關(guān)的是“無(wú)聊的”級(jí)別值，當(dāng)角色的“無(wú)聊的”驅(qū)動(dòng)達(dá)到一定的閩值時(shí)，它就開(kāi)始睡覺(jué)。當(dāng)它聽(tīng)到用戶發(fā)出相關(guān)的聲音時(shí)這種“無(wú)聊的’，級(jí)別值就減小，而當(dāng)用戶不發(fā)聲的時(shí)候該級(jí)別值就增大。這是在用戶輸入與角色行為之間的一個(gè)很簡(jiǎn)單的映射例子。如果角色能夠展示更加復(fù)雜的行為，那將是更有趣的事情。例如，當(dāng)聽(tīng)到一個(gè)低音的音高時(shí)，角色就慢慢地扭轉(zhuǎn)頭，而當(dāng)它感知到一個(gè)很具攻擊性的聲音時(shí)，當(dāng)就突然轉(zhuǎn)移它的注意力。在感知到高音C時(shí)它甚至捂住耳朵。當(dāng)然，這些行為都是角色設(shè)計(jì)者設(shè)定的。設(shè)計(jì)者選擇角色的動(dòng)作來(lái)模擬音樂(lè)輸入，同時(shí)也決定著如何進(jìn)行急劇的或是平滑的過(guò)渡用來(lái)展示音樂(lè)情感。
4.4.2動(dòng)畫的實(shí)現(xiàn)方法
計(jì)算機(jī)動(dòng)畫是計(jì)算機(jī)圖形學(xué)和藝術(shù)相結(jié)合的產(chǎn)物，綜合利用了計(jì)算機(jī)科學(xué)、藝術(shù)、數(shù)學(xué)、物理學(xué)和其它相關(guān)學(xué)科的知識(shí)，在計(jì)算機(jī)上生成豐富多彩的虛擬真實(shí)畫面。一般來(lái)說(shuō)，計(jì)算機(jī)動(dòng)畫分為關(guān)鍵幀動(dòng)畫、變形動(dòng)畫、過(guò)程動(dòng)畫、關(guān)節(jié)角色動(dòng)畫和基于物理的動(dòng)畫。過(guò)程動(dòng)畫指的是動(dòng)畫中物體的運(yùn)動(dòng)或變形由一個(gè)過(guò)程來(lái)描述。最簡(jiǎn)單的過(guò)程動(dòng)畫是用一個(gè)數(shù)學(xué)模型去控制物體的幾何形狀和運(yùn)動(dòng)，如水波隨風(fēng)的運(yùn)動(dòng)。較復(fù)雜的則包括物體的變形、彈性理論、動(dòng)力學(xué)、碰撞檢測(cè)等。基于物理模型的動(dòng)畫技術(shù)考慮了物體在真實(shí)世界中的屬性，如具有質(zhì)量、轉(zhuǎn)動(dòng)慣矩、彈性、摩擦力等，并采用動(dòng)力學(xué)原理來(lái)自動(dòng)產(chǎn)生物體在各個(gè)時(shí)間點(diǎn)的位置、方向及其形狀。此外，動(dòng)畫師不必關(guān)心物體運(yùn)動(dòng)過(guò)程的細(xì)節(jié)，只需確定物體運(yùn)動(dòng)所需的一些物理屬性及一些約束關(guān)系，如質(zhì)量、外力等，引入了轉(zhuǎn)動(dòng)慣量、彈性系數(shù)和阻尼等概念，把分析計(jì)算分解為水平和垂直兩個(gè)獨(dú)立的方向，通過(guò)這種簡(jiǎn)化，系統(tǒng)可以進(jìn)行實(shí)時(shí)模擬，為了達(dá)到實(shí)時(shí)的效果，在一定假設(shè)條件下化簡(jiǎn)模型和運(yùn)動(dòng)求解是非常必要的。本文的系統(tǒng)可以綜合運(yùn)用上述幾種方法。角色模型若是基于彈性關(guān)節(jié)的骨架模型，這就是關(guān)節(jié)動(dòng)畫。動(dòng)作姿態(tài)的變換若是由動(dòng)態(tài)方程控制的，交互控制和碰撞檢測(cè)都用到了無(wú)質(zhì)量的彈簧模型，這就是基于物理的動(dòng)畫方法。系統(tǒng)的腳本是姿態(tài)的順序編排，可以把腳本的每一行看作是一個(gè)關(guān)鍵幀，但這里的插值過(guò)程是系統(tǒng)根據(jù)物理原理自動(dòng)完成的。其實(shí)用交互控制模型以設(shè)計(jì)姿態(tài)，也可以看作是模型由靜止?fàn)顟B(tài)的變形過(guò)程。
4.5系統(tǒng)的模擬實(shí)現(xiàn)
為了論證本文中主要的算法、解決方案的正確性與可行性，本節(jié)簡(jiǎn)化了前面提出的系統(tǒng)并模擬實(shí)現(xiàn)了該系統(tǒng)。該模擬系統(tǒng)的相關(guān)設(shè)計(jì)與顯示結(jié)果如下所述。以Microsoft叭suaiC十+6.0作為開(kāi)發(fā)環(huán)境，選擇基于對(duì)話框的MFC應(yīng)用程序進(jìn)行模擬。采用MIDI文件模擬現(xiàn)場(chǎng)音樂(lè)信號(hào)輸入，即便如此，本節(jié)仍實(shí)時(shí)分析音樂(lè)數(shù)據(jù)流，而不是對(duì)輸入的音樂(lè)全篇處理后再進(jìn)行分析，并在特定時(shí)間觸發(fā)相應(yīng)事件。只考慮音高特征，忽略速度、力度等特征。只考慮音樂(lè)在情感方面的表現(xiàn)力，忽略其對(duì)其它心理感受的表現(xiàn)力。在情感檢測(cè)方面，只考慮本文第二章中提到的基本術(shù)語(yǔ)的情感色彩，對(duì)單個(gè)的音程、和弦不予考慮。采用圖片集模擬角色的腳本動(dòng)畫庫(kù)。
4.5.1數(shù)據(jù)結(jié)構(gòu)
音高事件(即音符)主要包括音高、起音、落音、時(shí)值、力度等信息，因此自
(1)調(diào)性確定算法
基于本文第三章提出的螺旋模型和調(diào)性確定算法進(jìn)行實(shí)現(xiàn)，在音高事件的個(gè)數(shù)到達(dá)預(yù)定義的數(shù)目時(shí)調(diào)用該調(diào)性確定函數(shù)，其偽代碼如圖4一6。初始化音效中心poiniCE為原點(diǎn);初始化當(dāng)前總Tick數(shù)nTicksum為0;
(2)情感匹配算法
在情感匹配之前，需要預(yù)定義一些情感術(shù)語(yǔ)，本模擬系統(tǒng)參考本文第二章中的情感術(shù)語(yǔ)如圖4一7。與死相聯(lián)系著的絕望的情感，白外返回的痛苦情感，即對(duì)悲哀的接受或屈服、消極的忍受或與死亡相聯(lián)系的絕望圖4一7情感匹配術(shù)語(yǔ)然后再對(duì)音樂(lè)的實(shí)時(shí)旋律進(jìn)行情感匹配，以小調(diào)為例，其偽代碼如圖4一8。試確定的調(diào)性的調(diào)式為小調(diào))道
4.5.2模擬結(jié)果
運(yùn)行后的模擬界面如圖4一9(a)。“監(jiān)聽(tīng)”用來(lái)打開(kāi)MIDI文件，模擬角色對(duì)現(xiàn)場(chǎng)音樂(lè)信號(hào)輸入的監(jiān)聽(tīng)，當(dāng)演奏的音符數(shù)超過(guò)預(yù)定義的個(gè)數(shù)16時(shí)，點(diǎn)擊角色所在的圖形區(qū)域，程序以消息框的形式提示當(dāng)前音樂(lè)采用調(diào)性確定算法得到的調(diào)性，如圖4一9(b)。通過(guò)實(shí)驗(yàn)，該模擬程序?qū)Ω饕魳?lè)的前16個(gè)音符確定的調(diào)性如下:巴赫的《C大調(diào)賦格曲》，C大調(diào);巴赫的《E小調(diào)賦格曲》，E小調(diào);巴赫的《G小調(diào)賦格曲》，G小調(diào);貝多芬的《熱情奏鳴曲》，G小調(diào);德彪西的《月光》，Db大調(diào);李斯特的《圣誕之歌》，F(xiàn)大調(diào);肖邦的《雨滴》，Db大調(diào)。通過(guò)本模擬程序，進(jìn)一步驗(yàn)證了螺旋模型和調(diào)性確定算法的正確性。
圖4一9模擬界面及調(diào)性確定
確定了該首音樂(lè)的調(diào)性之后，系統(tǒng)就開(kāi)始對(duì)音符序列進(jìn)行情感匹配，并實(shí)時(shí)更新各情感驅(qū)動(dòng)的級(jí)別值，當(dāng)某情感驅(qū)動(dòng)的級(jí)別值到達(dá)它的閩值時(shí)就觸發(fā)相應(yīng)的動(dòng)作。如圖4-10(a)，貝多芬的《熱情奏鳴曲》是在法國(guó)大革命時(shí)期英雄主義思想的啟示下創(chuàng)作的，其中那明晰生動(dòng)的節(jié)奏，那熱情奔放的旋律，那星馳電擊的電流，無(wú)不深刻地體現(xiàn)了“人類的良知”，充分顯示了在戰(zhàn)斗洗禮中的英雄們那悲壯激烈、堅(jiān)貞不屈的崇高精神。又如圖4一10偽)，李斯特在他的作品《圣誕之歌》中，極力表現(xiàn)一種天使和孩子們的天真、純潔和純粹的幸福。圖4一10模擬系統(tǒng)的情感表現(xiàn)
4.6本章小結(jié)
本章首先簡(jiǎn)述了現(xiàn)有的音樂(lè)可視化系統(tǒng)的實(shí)現(xiàn)技術(shù)，指出其相關(guān)的應(yīng)用領(lǐng)域。然后著重闡述了本文擬采用的音樂(lè)可視化系統(tǒng)的解決方案，提出了系統(tǒng)處理流程，并對(duì)各個(gè)環(huán)節(jié)如音樂(lè)感知過(guò)濾層、角色及場(chǎng)景認(rèn)知層、角色及場(chǎng)景表達(dá)層進(jìn)行了比較詳細(xì)的介紹，描述了相關(guān)的實(shí)現(xiàn)原理及處理方法。由于麥克風(fēng)輸入的歌聲數(shù)據(jù)量很大，所以本文提出的系統(tǒng)只對(duì)這些數(shù)據(jù)提取一些主要的音樂(lè)特征如音高、振幅等，從而滿足實(shí)時(shí)性的要求。對(duì)于電子琴輸入的和音信息，系統(tǒng)也只對(duì)其中特定的信息感興趣，那就是與角色動(dòng)作相關(guān)的情感信息。實(shí)現(xiàn)了模擬系統(tǒng)，進(jìn)一步論證了螺旋模型和調(diào)性確定算法的正確性以及系統(tǒng)解決方案的可行性。角色的多樣性、動(dòng)作集、碰撞檢測(cè)、花草山水、風(fēng)雪煙霧、顏色變化等問(wèn)題，有待進(jìn)一步研究。
第五章 結(jié)論
現(xiàn)代社會(huì)，隨著工作節(jié)奏的加快和工作壓力的增加，人們愈加需要休閑和娛樂(lè)。信息技術(shù)的娛樂(lè)應(yīng)用也就成為計(jì)算機(jī)應(yīng)用的一個(gè)重要發(fā)展方向。同時(shí)，隨著計(jì)算機(jī)技術(shù)的發(fā)展，音樂(lè)可視化日益得到研究機(jī)構(gòu)和公司的重視，出現(xiàn)了各種音樂(lè)可視化系統(tǒng)。音樂(lè)可視化有著廣泛的應(yīng)用:音樂(lè)分析、信息檢索、表演分析、音樂(lè)教學(xué)、音樂(lè)認(rèn)知、情感表達(dá)、游戲娛樂(lè)。
5.1工作總結(jié)
本文通過(guò)對(duì)基于情感識(shí)別的實(shí)時(shí)交互式音樂(lè)可視化研究的初步探討，工作總結(jié)如下:
(l)研究了國(guó)內(nèi)外現(xiàn)有的音樂(lè)可視化系統(tǒng)。詳細(xì)地論述了音樂(lè)可視化的相關(guān)內(nèi)容，重點(diǎn)介紹了音樂(lè)可視化的研究?jī)?nèi)容、研究進(jìn)展。
(2)總結(jié)和分析了音樂(lè)情感方面的研究。圍繞音樂(lè)到底是一種怎樣的藝術(shù)、表現(xiàn)了一種什么樣的世界、能否表達(dá)情感以及如何表達(dá)情感等問(wèn)題進(jìn)行描述，對(duì)音樂(lè)的心理學(xué)也作了簡(jiǎn)單介紹。
(3)提出了螺旋模型及調(diào)性確定算法。提出了一種螺旋模型，在此基礎(chǔ)上提出調(diào)性確定算法，并通過(guò)理論及實(shí)例論證了模型和算法的正確性和實(shí)用性。 (4)提出了系統(tǒng)設(shè)計(jì)方案及實(shí)現(xiàn)了模擬系統(tǒng)。闡述了本文的系統(tǒng)采用的解決方案，描述了系統(tǒng)流程及處理機(jī)制，并實(shí)現(xiàn)了一個(gè)系統(tǒng)簡(jiǎn)化版本的模擬系統(tǒng)，有著較好的效果。
5.2研究展望
(l)音樂(lè)特征的提取
音樂(lè)中有各種各樣的特征，如頻率、振幅、音色、音調(diào)、音高、音長(zhǎng)、和弦、速度、響度、節(jié)拍及近來(lái)提出的一些新的特征，如能量、過(guò)零率、頻譜矩、頻譜流、帶寬、帶周期、噪音幀率等。音樂(lè)中有如此多的特征，對(duì)每種特征都進(jìn)行提取是很耗費(fèi)時(shí)間的，也是很不現(xiàn)實(shí)和沒(méi)有必要的。因此，應(yīng)該根據(jù)音樂(lè)可視化的應(yīng)用方面的要求，提取出音樂(lè)中的那些必要的特征，忽略或者去除那些不必要的特征，從而縮短程序運(yùn)行時(shí)間，達(dá)到實(shí)時(shí)性等方面的要求。在交互式的音樂(lè)可視化系統(tǒng)中，對(duì)于不同輸入設(shè)備(如麥克風(fēng)和MIDI輸入設(shè)備)得到的數(shù)據(jù)，對(duì)其特征提取的方法也應(yīng)該是不一樣的。此外，音樂(lè)的風(fēng)格也是多樣化的，最大的分類是嚴(yán)肅音樂(lè)和流行音樂(lè)，而流行音樂(lè)下有鄉(xiāng)村音樂(lè)、民謠、爵士樂(lè)、搖滾樂(lè)、流行美聲等分類，如果能在對(duì)音樂(lè)的特征提取過(guò)程中得到音樂(lè)的分類，然后采用不同的可視化風(fēng)格來(lái)反映這些不同的音樂(lè)風(fēng)格，效果一定會(huì)更好一些。因此，在特征提取過(guò)程中得到音樂(lè)風(fēng)格的特征，是音樂(lè)可視化進(jìn)丫步的追求目標(biāo)。
(2)對(duì)音樂(lè)的情感檢測(cè)與情感表達(dá)
音樂(lè)既是一種娛樂(lè)方式，也是抒發(fā)作曲者和歌手情感的手段。情感因素是音樂(lè)中的一個(gè)重要的特征，在音樂(lè)可視化研究中越來(lái)越受到重視。因此，必須建立一個(gè)完善的情感檢測(cè)以及情感表達(dá)機(jī)制。這種情感檢測(cè)機(jī)制應(yīng)當(dāng)是綜合性的，包括對(duì)音樂(lè)風(fēng)格的分析、對(duì)音樂(lè)與情感關(guān)系的準(zhǔn)確刻畫、聯(lián)覺(jué)中的各音樂(lè)特征與情感的對(duì)應(yīng)。情感表達(dá)機(jī)制還應(yīng)擴(kuò)充表達(dá)情感的角色的動(dòng)作集，盡可能準(zhǔn)確地表達(dá)出盡可能多的情感。
(3)以用戶為中心的系統(tǒng)設(shè)計(jì)
應(yīng)用系統(tǒng)的設(shè)計(jì)應(yīng)該以用戶為中心，也就是說(shuō)要有靈活的圖形用戶界面(GuD，實(shí)時(shí)性地反應(yīng)用戶的操作，用戶的操作和輸入的方式要盡可能地簡(jiǎn)單，而輸出的結(jié)果要盡可能完美，等等。這就要做好用戶需求調(diào)查和分析。在設(shè)計(jì)音樂(lè)可視化系統(tǒng)之前，必須要對(duì)用戶的需求進(jìn)行調(diào)查和分析，以此來(lái)確定系統(tǒng)的用戶類型和應(yīng)用類型，如教育方面的音樂(lè)教師和學(xué)生，商業(yè)娛樂(lè)方面的大眾人群等，從而設(shè)計(jì)相應(yīng)的可視化系統(tǒng)。
(4)場(chǎng)景對(duì)象和動(dòng)作建模
WindowsMediaPlayer中的可視化效果是音樂(lè)可視化的雛形，并為音樂(lè)可視化提供了一個(gè)有用的參照。但是它的可視化效果過(guò)于簡(jiǎn)單和單調(diào)，使得用戶感覺(jué)到這些可視化模式與所播放的音樂(lè)之間并沒(méi)有什么關(guān)系，只是有一些微小的變化重復(fù)出現(xiàn)而己。這種面向大眾的音樂(lè)可視化的娛樂(lè)應(yīng)用，應(yīng)該要另辟蹊徑，采用場(chǎng)景以及角色對(duì)象來(lái)實(shí)現(xiàn)，角色對(duì)象可以是各種擬人化的動(dòng)物、花草樹木、自定義的動(dòng)畫角色甚至人本身，而場(chǎng)景對(duì)象可以是山河湖泊、花草樹木等。為了避免角色的動(dòng)作種類太少或者場(chǎng)景對(duì)象的種類太少而產(chǎn)生的單調(diào)性，以及表達(dá)音樂(lè)中各種復(fù)雜的情感因素，就必須盡量擴(kuò)充角色的動(dòng)作集，增加場(chǎng)景對(duì)象的種類。
(5)虛擬現(xiàn)實(shí)技術(shù)的硬件和軟件支持
音樂(lè)可視化要有好的沉浸感，就要用到虛擬現(xiàn)實(shí)技術(shù)。這就需要解決相關(guān)的硬件設(shè)備和軟件技術(shù)方面的支持問(wèn)題。硬件設(shè)備方面，三維立體聲設(shè)備、大屏幕主要有洞穴狀、圓柱型或者由矩形塊拼接成的大屏幕)投影設(shè)備等是必不可少的。大屏幕的立體顯示、實(shí)體大小的虛擬角色以及用戶輸入接口的最自然的方法都可以幫助減少現(xiàn)實(shí)和虛擬的距離，讓用戶體驗(yàn)與虛擬角色之間的真正的交互過(guò)程，從而產(chǎn)生強(qiáng)制性的沉浸感。軟件技術(shù)方面，如碰撞檢測(cè)算法，以此來(lái)確保虛擬角色的行走路徑和活動(dòng)范圍的合理性;豐富的特效，如模擬火焰、水流、煙霧、雨雪等，光照、陰影等，花草樹木隨風(fēng)擺動(dòng)、實(shí)時(shí)水波等;觸發(fā)機(jī)制和動(dòng)作定義，由特定的音樂(lè)特征觸發(fā)角色相應(yīng)的動(dòng)作，通過(guò)給定的幾個(gè)參數(shù)就可以實(shí)現(xiàn)各種動(dòng)作等。
(6)機(jī)群并行處理問(wèn)題
由于視覺(jué)效果是對(duì)音樂(lè)播放的補(bǔ)充，因此，不能由于處理可視化效果而占用了大量的CPU處理時(shí)間而使得音樂(lè)本身播放的不連續(xù)或者可視化效果的不連續(xù)因此，一個(gè)效果好的音樂(lè)可視化系統(tǒng)需要性能優(yōu)化的算法以及高性能的計(jì)算機(jī)(也包括高性能的顯卡和聲卡)等方面的支持。如果要實(shí)現(xiàn)的算法和功能足夠復(fù)雜，如三維的虛擬現(xiàn)實(shí)技術(shù)，則需要將多臺(tái)計(jì)算機(jī)組成一個(gè)網(wǎng)絡(luò)，進(jìn)行機(jī)群并行處理操作，由不同的計(jì)算機(jī)處理不同的功能，在盡量短的時(shí)間內(nèi)實(shí)現(xiàn)總體功能。
致謝
光陰似箭，回顧碩士研究生三年，首先要感謝我敬愛(ài)的導(dǎo)師黃東軍教授。在本論文完成的過(guò)程中，導(dǎo)師注入了極大的心血，給予了悉心的指導(dǎo)，導(dǎo)師的及時(shí)指點(diǎn)和幫助使我不致迷失方向，并在老師的指導(dǎo)下得到研究動(dòng)力和靈感。導(dǎo)師不僅教授給我研究方法，還對(duì)我的生活悉心照顧，讓我更加明白人間有情，更加端正學(xué)習(xí)態(tài)度、熱愛(ài)生活。導(dǎo)師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、孜孜不倦的進(jìn)取精神給我留下了深刻的印象。上研以來(lái)，由于家里的一些原因，我一度處于人生的低谷，是導(dǎo)師，給予我很大的關(guān)心，時(shí)刻牽掛著我的生活、學(xué)習(xí)情況，讓我真真切切地感受到了老師那種長(zhǎng)輩對(duì)晚輩無(wú)微不至的關(guān)懷和悉心的培養(yǎng)。我在學(xué)業(yè)上的點(diǎn)滴進(jìn)步都飽含了導(dǎo)師的心血。感謝信息科學(xué)與工學(xué)院的全體老師，特別是陳松喬教授、徐德智教授、王國(guó)軍教授和沙莎教授在我撰寫論文過(guò)程中提出的寶貴意見(jiàn)和無(wú)私幫助。感謝楊珊、童卡娜、李晶晶、陳濤、文展等同門與我一起走過(guò)碩士研究生階段的美好時(shí)光。感謝吳俠、賀建新、周偉、胡周軍、陳斌華等好友在學(xué)習(xí)和生活上的每一份無(wú)私的幫助。最后還要感謝我的母親，母愛(ài)深深，每一份感動(dòng)都化為我學(xué)習(xí)中的動(dòng)力。感謝我的妹妹，一直以來(lái)她都給我極大的鼓勵(lì)和支持。感謝屈文波、屈黎明、屈苗等摯友，給我生命中注入樂(lè)趣與活力。特別感謝我的朋友王煥云，她給我的關(guān)心和督促，使我能全心全意的投入到研究工作中去，不曾懈怠，順利的完成我的學(xué)業(yè)，并在我求職時(shí)給我加油打氣。在此，我謹(jǐn)向所有關(guān)心和幫助我的人表示最衷心的感謝!
【基于情感識(shí)別的實(shí)時(shí)交互式音樂(lè)可視化研究論文】相關(guān)文章：
基于OSG的鐵路三維實(shí)時(shí)交互式可視化技術(shù)研究04-28
基于A*算法的實(shí)時(shí)航跡規(guī)劃方法研究05-01
基于FPGA的實(shí)時(shí)圖像處理技術(shù)研究04-28
基于RS理論的間隔調(diào)速實(shí)時(shí)校正控制模型研究04-28
基于中學(xué)音樂(lè)欣賞教學(xué)主體參與研究的論文04-27
基于網(wǎng)格技術(shù)的交互式電子技術(shù)手冊(cè)研究04-28
基于實(shí)時(shí)動(dòng)態(tài)技術(shù)的城市控制測(cè)量技術(shù)研究04-28