《張德祿-多模態(tài)話語(yǔ)分析理論與外語(yǔ)教學(xué)》由會(huì)員分享，可在線閱讀，更多相關(guān)《張德祿-多模態(tài)話語(yǔ)分析理論與外語(yǔ)教學(xué)（83頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

多模態(tài)話語(yǔ)分析 理論及在教學(xué)中的應(yīng)用,張德祿 dlzh@,1,目錄,1. 引言 2. 理論基礎(chǔ) 3. 符號(hào)資源 4. 多模態(tài)設(shè)計(jì) 5. 多模態(tài)語(yǔ)法 6. 模態(tài)之間的關(guān)系 7. 模態(tài)選擇及用途 8. 多模態(tài)讀寫 9. 問(wèn)題與不足 10. 將來(lái)的研究,2,1.引言 多模態(tài)性在歷史上沒(méi)有受到人們的重視; 在現(xiàn)代語(yǔ)言學(xué)研究中：被看作非語(yǔ)言特征和伴隨語(yǔ)言特征；一種語(yǔ)言的輔助表達(dá)系統(tǒng)，沒(méi)有作為意義表達(dá)模態(tài)來(lái)研究。 多模態(tài)產(chǎn)生的原因： （1）是話語(yǔ)分析理論發(fā)展的一個(gè)歷史階段：人們發(fā)現(xiàn)話語(yǔ)的意義很大一部分是由非語(yǔ)言特征實(shí)現(xiàn)的。 （2）人類話語(yǔ)越來(lái)越多模態(tài)化：多媒體和網(wǎng)絡(luò)的產(chǎn)生促進(jìn)了多模態(tài)話語(yǔ)的研究；人類的交際過(guò)程需要聽覺(jué)、視覺(jué)、觸覺(jué)并用；在一些領(lǐng)域，交際的主模態(tài)已經(jīng)由語(yǔ)言轉(zhuǎn)為圖像或其它模態(tài)，網(wǎng)頁(yè)、電影、畫展等。,3,1.1 多模態(tài)話語(yǔ)分析研究 1.最早的研究者之一是R. Barthes，在他1977年發(fā)表的論文《圖像的修辭》（ Rhetoric of the image）中探討了圖像在表達(dá)意義上與語(yǔ)言的相互作用。另外幾個(gè)主要的研究者包括： 2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模態(tài)與媒體的關(guān)系，專門探討了多模態(tài)現(xiàn)象規(guī)則地表達(dá)意義的現(xiàn)象，包括視覺(jué)圖象、顏色的語(yǔ)法，以及報(bào)紙的版面設(shè)計(jì)和不同媒介的作用等。 3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不僅研究多模態(tài)的理論建構(gòu)，還專門研究了數(shù)學(xué)語(yǔ)篇中的多模態(tài)現(xiàn)象。 5. Royce， T. (1998a; 1998b; 2002)研究了不同符號(hào)在多模態(tài)話語(yǔ)中的互補(bǔ)性，以及在第二語(yǔ)言課堂教學(xué)中多模態(tài)的協(xié)同性等。 還有其他許多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。,4,1.2 模態(tài)與媒體（Mode vs medium） 模態(tài)（modality）來(lái)自于mode/model(方式、模式），表示可對(duì)比和對(duì)立的符號(hào)系統(tǒng)； 媒體是符號(hào)分布印跡的物質(zhì)手段，如產(chǎn)生語(yǔ)篇采用印刷的或手寫的手段，說(shuō)話時(shí)發(fā)出的聲音，身體的動(dòng)作，或計(jì)算機(jī)顯示器上的光脈沖( Scollon & Levine 2004) 。 我們感受客觀世界的視覺(jué)、聽覺(jué)、觸覺(jué)、味覺(jué)、嗅覺(jué)是不同的感知模態(tài)，但眼、耳、手、舌、鼻則是媒體。 這樣，模態(tài)是用某種媒體表達(dá)信息的特殊方式。媒體是表達(dá)信息的物理工具。,5,1.3 單模態(tài) (monomodality) vs 多模態(tài) (multimodality 單模態(tài)是只通過(guò)一種模態(tài)進(jìn)行交際活動(dòng)的現(xiàn)象，如說(shuō)話、聽錄音、讀書。前者為通過(guò)聽覺(jué)模態(tài)；后者為通過(guò)視覺(jué)模態(tài)。 多模態(tài)表達(dá)可以分解為同時(shí)表達(dá)意義的兩個(gè)或兩個(gè)以上的單模態(tài)(Bernsen 2002) 。我們每天在看報(bào)紙、雜志、廣告、招貼畫、故事書、教科書、活頁(yè)文選、百科全書、說(shuō)明書、計(jì)算機(jī)界面時(shí)，甚至在我們相互交往時(shí)都離不開多模態(tài)。我們談話時(shí)手舞足蹈，有聲有色，也意味著使用了多模態(tài)。 多模態(tài)話語(yǔ)：運(yùn)用聽覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。,6,2. 理論基礎(chǔ),多模態(tài)話語(yǔ)分析理論的基礎(chǔ)是社會(huì)符號(hào)學(xué) 索緒爾：能指（signifier)----所指(signified)。只研究個(gè)體符號(hào)的特性；只研究“Langue”，不研究“parole”。 皮爾斯發(fā)展了符號(hào)范疇：圖標(biāo)、索引和語(yǔ)符。他論述的媒介、對(duì)象、解釋三位一體的三角關(guān)系。 韓禮德提出了“語(yǔ)言是社會(huì)符號(hào)”的理論。社會(huì)符號(hào)學(xué)優(yōu)先研究的是把所指行為作為實(shí)例，并把社會(huì)的所指實(shí)踐作為經(jīng)常的、可重復(fù)的、可識(shí)辨的類型。社會(huì)有意義的實(shí)踐構(gòu)成各種文化(社會(huì)符號(hào)系統(tǒng)) 。符號(hào)系統(tǒng)是對(duì)這些實(shí)踐的抽象(如從言語(yǔ)得到語(yǔ)言符號(hào)) 。 Saussure → Langue Parole ← Halliday Pierce,7,社會(huì)符號(hào)學(xué)沒(méi)有必要區(qū)分理論符號(hào)學(xué)和應(yīng)用符號(hào)學(xué)，它與話語(yǔ)分析、多媒體分析、教育研究、文化人類學(xué)、政治社會(huì)學(xué)有更緊密的關(guān)系。 再者，它也回答了索緒爾符號(hào)學(xué)所難以擺脫的一個(gè)悖論：這個(gè)理論一方面把語(yǔ)言看作是靜態(tài)的不變的，另一方面又不得不承認(rèn)“所指的變化導(dǎo)致概念的變化”，“思想可能被迫接受符號(hào)的物質(zhì)狀態(tài)給它提供的特殊方式” (Lemke 2005) 。這說(shuō)明語(yǔ)言結(jié)構(gòu)底層的常規(guī)是不固定的，而是受到實(shí)際言語(yǔ)的影響。(Beaugrande 1991: 2 - 27)。 社會(huì)符號(hào)學(xué)把語(yǔ)言看作眾多符號(hào)之一，各種符號(hào)系統(tǒng)都能夠用以社會(huì)交際，體現(xiàn)講話者的意義。這樣，交際就是多模態(tài)的了。,8,3.符號(hào)資源,符號(hào)系統(tǒng)實(shí)際上是符號(hào)資源( semiotic resource)系統(tǒng)，人們通過(guò)可識(shí)別的、多半是習(xí)慣性的(有時(shí)是原創(chuàng)的)方法從這些資源中選擇，就可以進(jìn)行有意義的活動(dòng)(Lemke 1993) 。 所謂習(xí)慣性的方法指可確認(rèn)的符號(hào)架構(gòu)( semiotic formations) ，是一個(gè)社團(tuán)中的成員同時(shí)采用一些符號(hào)資源形成的經(jīng)常的、可重復(fù)的、可識(shí)別的、有意義的、文化的和歷史的特殊符號(hào)類型。如某一時(shí)期的文學(xué)語(yǔ)類是符號(hào)架構(gòu)。同樣，建筑風(fēng)格、房子類型、宗教儀式、特定節(jié)日、飲食、衣著的特定樣式都可以定義為可行動(dòng)的有規(guī)律的范式，對(duì)社會(huì)是有意義的實(shí)踐的范式。,9,Kress(2001)認(rèn)為，所有的模態(tài)(視覺(jué)的、姿態(tài)的、動(dòng)作的) ，像語(yǔ)言一樣，在社會(huì)使用過(guò)程中共同形成社會(huì)資源的模態(tài)(Halliday 1985, Kress 1997) 。 傳統(tǒng)上書寫和口語(yǔ)的模態(tài)強(qiáng)調(diào)語(yǔ)言方面，而把其他資源，如姿勢(shì)、語(yǔ)音音律、注視、動(dòng)作等看作是“副語(yǔ)言的”，不把這些看作是能與語(yǔ)言同時(shí)作用的完整的符號(hào)資源。多模態(tài)話語(yǔ)分析把它們提高到相同的層面。,10,媒體資源的分類 （1） 語(yǔ)言與非語(yǔ)言 張德祿（2009）對(duì)媒體的類別根據(jù)是否語(yǔ)言和是否身體的對(duì)外語(yǔ)教學(xué)中的媒體系統(tǒng)做了歸類： 非語(yǔ)言媒體 表達(dá)意義的非語(yǔ)言媒體包括交際者的肢體動(dòng)作和交際者在意義表達(dá)中所使用的非語(yǔ)言手段，如工具、環(huán)境等。,11,肢體媒體： (1) 與頭部有關(guān)的動(dòng)作，包括眼神、擠眼、凝視、搖頭、點(diǎn)頭、仰頭、低頭、歡喜的表情、傷心的表情、嫉恨的表情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的動(dòng)作形成的媒體符號(hào)等。 (2) 由手臂和腿形成的媒體符號(hào)，包括手勢(shì)，手臂的狀態(tài)、形成的形狀、搖動(dòng)等，腿的并立、踢跳、彎伸等。 (3) 軀干的動(dòng)作，如姿勢(shì)、移動(dòng)、搖擺、模擬等。,12,非肢體媒體 主要包括工具和環(huán)境兩個(gè)方面。 隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，交際者肢體以外的交際媒體變得十分發(fā)達(dá)。從起初的音響設(shè)備到現(xiàn)在的網(wǎng)絡(luò)平臺(tái)、同聲傳譯室等都是工具性媒體。 除此之外，交際者還可以利用環(huán)境中已有的所有符號(hào)系統(tǒng)來(lái)進(jìn)行交際，包括現(xiàn)場(chǎng)環(huán)境中的人和物、有象征意義的符號(hào)等(見圖1。),13,語(yǔ)言媒體 從傳統(tǒng)的語(yǔ)言學(xué)研究的角度講，實(shí)現(xiàn)意義傳播的媒體形式主要有兩種：聲波傳導(dǎo)的聲音符號(hào)和由筆等生成的書寫符號(hào)。這兩種媒體是語(yǔ)言傳播信息的主要媒介。但隨著信息技術(shù)的不斷發(fā)展，其他技術(shù)開始用于語(yǔ)言信息的傳播，如計(jì)算機(jī)文字輸入、計(jì)算機(jī)語(yǔ)音識(shí)別等，但最后的傳播媒體仍然是聲音或者字符。 伴語(yǔ)言媒體 對(duì)語(yǔ)言意義的傳遞起到輔助、補(bǔ)充和強(qiáng)化的作用，包括音響、聲音的大小、音調(diào)、聲音的頻率、口音、語(yǔ)氣、以及字體形狀、大小、空間的布局等。這些伴隨語(yǔ)言的媒體特征對(duì)意義整體的表達(dá)起著十分重要的作用，有時(shí)是關(guān)鍵作用，因?yàn)樗梢砸鹫w意義的改變，如用聲調(diào)表達(dá)態(tài)度。,14,15,（2） 靜態(tài)與動(dòng)態(tài) Thibault(2004)對(duì)符號(hào)資源的研究比較具體。他從身體動(dòng)力學(xué)的研究區(qū)分動(dòng)態(tài)的和靜態(tài)的: (1)靜態(tài)的表達(dá)媒體,如文字、圖片、表格、繪畫等。 (2)動(dòng)態(tài)的研究指面對(duì)面的互動(dòng)、動(dòng)畫、電影、使用錄像機(jī)等。,16,（3） 兩個(gè)層次與三個(gè)層次 根據(jù)系統(tǒng)的復(fù)雜性，媒體系統(tǒng)可以分為兩個(gè)層次的和三個(gè)層次的。 兩個(gè)層次的符號(hào)系統(tǒng)比較簡(jiǎn)單，是符號(hào)的能指和所指可一一對(duì)應(yīng)，不通過(guò)詞匯語(yǔ)法的系統(tǒng)，例如：交通信號(hào)系統(tǒng)是兩個(gè)層次的符號(hào)系統(tǒng)： 語(yǔ)言是三個(gè)層次的符號(hào)系統(tǒng)。,17,（ 4）. 維度 媒體的維度是一個(gè)重要的區(qū)分條件，因?yàn)榫S度之間的區(qū)別很重要，可以直接影響對(duì)符號(hào)的識(shí)別難度。媒體的維度現(xiàn)在一般還是局限在四個(gè)之內(nèi)： 一維的是線性的：口語(yǔ)和書面語(yǔ)； 二維的是平面的：平面圖畫； 三維的是立體的：立體圖形； 四維的是動(dòng)態(tài)的，是可移動(dòng)的三維符號(hào)系統(tǒng)，如電影、動(dòng)畫等。,18,4. 設(shè)計(jì),設(shè)計(jì)是制造語(yǔ)篇和識(shí)讀語(yǔ)篇的過(guò)程。 書面語(yǔ)占統(tǒng)治地位的設(shè)計(jì)：寫作的邏輯曾經(jīng)塑造了頁(yè)面的順序和書本。 新媒體時(shí)代的設(shè)計(jì)：當(dāng)今占統(tǒng)治地位的媒體是屏幕，不管是游戲機(jī)、移動(dòng)電話、個(gè)人電腦或者電視和錄像。因此現(xiàn)在屏幕的邏輯正在塑造新的順序和對(duì)屏幕的安排。雖然文字寫作可以出現(xiàn)在屏幕上，但它從屬于圖像，如同過(guò)去圖像可出現(xiàn)于書本上，但從屬于文字寫作。因此圖像將越來(lái)越塑造寫作的出現(xiàn)和用途，這一過(guò)程已在公眾信息傳遞的事例中出現(xiàn)。 過(guò)去，作者的形象和寫作的方式占統(tǒng)治地位；在新的屏幕設(shè)計(jì)中，設(shè)計(jì)者和圖像的模式占統(tǒng)治地位。(Kress 2004)。,19,Kress (2004)重視設(shè)計(jì)者的作用。所有符號(hào)資源都具有社會(huì)意義，屬于特定文化。多模態(tài)符號(hào)(詞語(yǔ)、文字、信件、色彩、字體)的復(fù)雜信息反映了設(shè)計(jì)者的盡量選用多種符號(hào)表達(dá)意義的意愿。 設(shè)計(jì)者根據(jù)符號(hào)特殊的修辭目的，用盡各種手段來(lái)勸誘那些有機(jī)遇接觸該信息的人們。頁(yè)面/網(wǎng)址的設(shè)計(jì)者不再是權(quán)威性語(yǔ)篇的“作者”，但他是材料的提供者，按照想象中讀者的所謂特點(diǎn)進(jìn)行安排。 設(shè)計(jì)者的作用是將材料集中，加工為訪問(wèn)者可提取的“信息”。屏幕設(shè)計(jì)要考慮訪問(wèn)者的興趣。對(duì)訪問(wèn)者來(lái)說(shuō),“信息是個(gè)體選擇的材料，經(jīng)他們轉(zhuǎn)換，成為可以解決有生世界問(wèn)題的知識(shí)”。,20,設(shè)計(jì)是在一定語(yǔ)境下進(jìn)行的。在多模態(tài)信息傳遞中，關(guān)鍵是選擇相應(yīng)的設(shè)計(jì)。如果表達(dá)和塑造信息時(shí)有多種方法，有待回答的問(wèn)題是： 就要傳遞的內(nèi)容或意義來(lái)說(shuō)，哪一種模態(tài)最好? 哪一種模態(tài)在塑造所傳播信息時(shí)最能符合設(shè)計(jì)者的興趣? 設(shè)計(jì)者的聽眾或他自己最喜愛(ài)哪一種媒體? 在選擇某個(gè)媒體或模態(tài)而不是其他時(shí)，設(shè)計(jì)者對(duì)自己的定位? 所有這些都需要作出抉擇。,21,根據(jù)新倫敦小組(New London Group 2000)的觀點(diǎn)，任何制造意義的過(guò)程基本上都是設(shè)計(jì)行為。一般有三個(gè)部分: 第一,已有資源：根據(jù)“可利用的設(shè)計(jì)”，擇取某些符號(hào)資源和常規(guī)，如話語(yǔ)形式、語(yǔ)類和方言。 第二,設(shè)計(jì)過(guò)程,：包括將符號(hào)資源轉(zhuǎn)變成自己的聲音，將老材料作新用途等。根據(jù)這一觀點(diǎn)，讀和聽、寫和說(shuō)是進(jìn)行設(shè)計(jì)的實(shí)例，因?yàn)槊總€(gè)人都可利用可利用的設(shè)計(jì)來(lái)產(chǎn)生意義，根據(jù)各自的興趣和個(gè)人經(jīng)驗(yàn)，將所讀到和聽到的材料轉(zhuǎn)化成意義。,22,第三, “重新設(shè)計(jì)”：由設(shè)計(jì)過(guò)程產(chǎn)生的資源或重新產(chǎn)生的意義，又可成為一種新的可利用的設(shè)計(jì)，具有制造意義潛力的新的資源。 這樣，設(shè)計(jì)的觀點(diǎn)不僅應(yīng)用于原創(chuàng)性活動(dòng)，更應(yīng)當(dāng)看作是日常經(jīng)歷的核心部分，因而這是教育過(guò)程中應(yīng)當(dāng)強(qiáng)調(diào)的重要成分。(Williamson 2005)。,23,5. 語(yǔ)法,在多模態(tài)話語(yǔ)選擇中最關(guān)鍵的因素是如何使不同模態(tài)的相互配合來(lái)獲得最佳交際效果，而這種模態(tài)之間的配合主要是在形式層面，特別是語(yǔ)法層面表現(xiàn)出來(lái)的。 根據(jù)系統(tǒng)功能語(yǔ)言學(xué)理論（Halliday, 1973; 1985），語(yǔ)言要同時(shí)體現(xiàn)三種元功能——概念功能、人際功能、謀篇功能。 那么，從多模態(tài)話語(yǔ)的角度講，除了語(yǔ)言之外，其他符號(hào)系統(tǒng)也同樣是實(shí)現(xiàn)三個(gè)元功能的系統(tǒng)，如Kress and van Leeuwen (1996) 和 O'Toole (1994) 把多元功能的思想延伸到圖像上，提出視覺(jué)語(yǔ)法的概念；O'Toole (1994) 則提出了一個(gè)以多元功能分析為基礎(chǔ)的，用于分析圖畫的模式。,24,例如，Kress and van Leeuwen (1996)建立了一個(gè)圖像分析的社會(huì)符號(hào)學(xué)框架。 模擬系統(tǒng)功能語(yǔ)言學(xué)中的功能語(yǔ)法的及物性系統(tǒng)，他們把把圖像的語(yǔ)法系統(tǒng)分為敘事類和概念類。在敘事類中，有行動(dòng)過(guò)程、反應(yīng)過(guò)程和心理與話語(yǔ)過(guò)程。行動(dòng)過(guò)程表示圖像所表現(xiàn)的動(dòng)作和行為，由動(dòng)作者和一個(gè)矢量，再加情景成分組成。,25,26,The dentist is examining the patient’s teeth.,,,,反應(yīng)過(guò)程也是由矢量組成的，是一個(gè)或多個(gè)圖像中的參與者的目光的方向構(gòu)成的。心理和言語(yǔ)過(guò)程是矢量由話語(yǔ)和思維形成的，在圖像中通常由言語(yǔ)泡或思維泡組成。,27,這樣話語(yǔ)的敘事表現(xiàn)可以由下圖表示：,28,圖像的概念類過(guò)程實(shí)際上表達(dá)語(yǔ)言的關(guān)系過(guò)程的主要內(nèi)容，分為分類過(guò)程、分析過(guò)程和象征過(guò)程。 分類過(guò)程表示一組相似的參與者，個(gè)體特征、距離和等級(jí)相同，溝通從屬于一個(gè)更高層次的參與者，它可以是顯性的，也可以是隱性的。 分析過(guò)程實(shí)際上表示整體部分，即整體可以分析為部分。其關(guān)系是整體部分關(guān)系。另外，他們還區(qū)分了窮盡的和包含的，類型學(xué)和拓?fù)鋵W(xué)的分析過(guò)程。 象征過(guò)程表示參與者是什么或者意味著什么。它可以有兩個(gè)參與者，一個(gè)是承載者，另一個(gè)表示其意義或者身份，是象征屬性。,29,30,31,與此同時(shí)，他們還討論了體現(xiàn)人際意義的特征，包括距離、接觸、視點(diǎn)和情態(tài)等。 從這個(gè)角度講，我們有兩個(gè)問(wèn)題需要考慮： 一是每個(gè)符號(hào)系統(tǒng)的語(yǔ)法如何確定？ 二是各個(gè)符號(hào)系統(tǒng)的語(yǔ)法如何相互協(xié)作來(lái)共同實(shí)現(xiàn)三個(gè)元功能？,32,6.多模態(tài)話語(yǔ)的形式及其關(guān)系,6.1 多模態(tài)話語(yǔ)的形式 媒體只有通過(guò)形式層面的組織和模式化才具有直接表達(dá)意義的能力。 形式對(duì)媒介進(jìn)行組織有兩種手段：一是直接賦予某個(gè)媒介符號(hào)某種意義。由這種符號(hào)組成的符號(hào)系統(tǒng)通常沒(méi)有能產(chǎn)性、沒(méi)有任意性； 二是把一定的媒介符號(hào)進(jìn)行組合，然后賦予這種組合一定的意義，這就是語(yǔ)法的作用。由這種符號(hào)和符號(hào)組成規(guī)則形成的符號(hào)系統(tǒng)具有任意性、能產(chǎn)性、雙分性，由三個(gè)層次的代碼組成（媒介、形式（詞匯語(yǔ)法）和意義）。語(yǔ)言屬于這一類。 語(yǔ)言：詞匯—語(yǔ)法 圖像：圖符—圖形語(yǔ)法 音響：音符—聲響語(yǔ)法 接觸：實(shí)體--感觸語(yǔ)法,33,6.2 多模態(tài)話語(yǔ)形式之間的關(guān)系 運(yùn)用多模態(tài)的理由：一種模態(tài)不足以表達(dá)清楚交際者的意義，從而利用另一者來(lái)強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽話者理解話語(yǔ)的目的。 關(guān)系：互補(bǔ) vs 非互補(bǔ) 互補(bǔ)：強(qiáng)化（突出、主次、擴(kuò)充） vs 非強(qiáng)化（交叉、聯(lián)合、協(xié)調(diào)） 非互補(bǔ)：交疊（冗余、排斥、抵消）vs 內(nèi)包（部分、具體）vs 語(yǔ)境交互（獨(dú)立vs 依賴）,34,35,借用韓禮德的功能語(yǔ)法研究中的邏輯語(yǔ)義關(guān)系，來(lái)表示不同模態(tài)之間的關(guān)系： 說(shuō)明 詳述 例證 擴(kuò)展 延伸 時(shí)間 邏輯語(yǔ)義 增強(qiáng) 空間 關(guān)系 因果 話語(yǔ) 投射 思想 邏輯語(yǔ)義關(guān)系（Martinec & Salway, 2005).,36,7.外語(yǔ)教學(xué)中的模態(tài)選擇,7.1 模態(tài)選擇程序 對(duì)多模態(tài)話語(yǔ)理論框架進(jìn)行選擇的基本程序是： 意義選擇：在文化語(yǔ)境中，受意識(shí)形態(tài)的支配和體裁系統(tǒng)的制約，根據(jù)具體的情景語(yǔ)境，選擇要表達(dá)的意義，包括概念意義、人際意義和謀篇意義； 意義體現(xiàn)：所選擇的意義要以合適的模態(tài)表達(dá)出來(lái)：即時(shí)的—口語(yǔ)；安靜的—手勢(shì)； 同樣，對(duì)多模態(tài)的選擇也是受語(yǔ)境的制約的：噪音—聲音+手勢(shì)。,37,不同模態(tài)之間的相互配合問(wèn)題：語(yǔ)義表達(dá)的需要；交際的需要。我們?cè)谶x擇中所要考慮的關(guān)鍵因素是在一定的情景中，如何選擇合適模態(tài)來(lái)有效地表達(dá)所要傳達(dá)的意義。 模態(tài)與媒體基本上是形式和實(shí)體的關(guān)系。模態(tài)語(yǔ)法確定選擇什么樣的媒體。如視覺(jué)語(yǔ)法確定不同視覺(jué)媒體之間的相互配合。例如，課堂教學(xué)：熟悉的事物：語(yǔ)言講解；不熟悉的事物：講解 + 實(shí)物 （圖像等）。,38,7.2 模態(tài)選擇的動(dòng)因 總體原則：充分利用現(xiàn)代媒體技術(shù)，最大限度地充分表達(dá)講話者的意義，取得最佳效果，為更好地利用現(xiàn)代技術(shù)提供一個(gè)合適的理論框架。 基本思路：人類交際中意義的體現(xiàn)具有多模態(tài)特點(diǎn)：在形式層面涉及不同模態(tài)的詞匯語(yǔ)法系統(tǒng)之間的關(guān)系；形式層面由媒體來(lái)體現(xiàn)?，F(xiàn)代媒體技術(shù)都主要是在媒體層面，所以充分利用好現(xiàn)代媒體技術(shù)是重要的研究課題。 在多模態(tài)話語(yǔ)交際框架下，對(duì)模態(tài)的選擇可以從三個(gè)角度進(jìn)行： （1）為外語(yǔ)教學(xué)提供教學(xué)情景和便利條件（工具）； （2）為外語(yǔ)教學(xué)提供輔助條件（助手）； （3）為多模態(tài)話語(yǔ)交際提供多通道話語(yǔ)意義表達(dá)方式（補(bǔ)充）。,39,7.2.1 作為工具 多媒體技術(shù)的發(fā)展實(shí)際上為提供盡可能真實(shí)的語(yǔ)境的提供了便利條件，可以提供圖像、錄像、聲音，作為學(xué)習(xí)的實(shí)際環(huán)境。利用從真實(shí)交際場(chǎng)合中得到的錄像材料作為： （1）學(xué)習(xí)材料，讓學(xué)生了解和認(rèn)識(shí)真實(shí)語(yǔ)境的實(shí)際情況，使獲得的語(yǔ)境知識(shí)更加具體； （2）背景信息，讓學(xué)生與錄像中的交際者在錄像提供的語(yǔ)境中進(jìn)行交際。 發(fā)展現(xiàn)代多媒體技術(shù)的一個(gè)最基本的理念是多模態(tài)交際可以使受話人通過(guò)多通道獲得信息，比單模態(tài)話語(yǔ)更容易使受話者理解和記憶。 如 PPT: 文字、語(yǔ)音、圖形、圖像、錄像：視覺(jué)和聽覺(jué),40,7.2.2. 作為助手 為教師提供條件，使他的工作容易進(jìn)行；現(xiàn)代技術(shù)還可以從內(nèi)部提供動(dòng)力，使教師和學(xué)生從內(nèi)心愿意從事這種活動(dòng)，把外因轉(zhuǎn)化為內(nèi)因。 第一，特殊的東西、大的東西、顏色艷麗或者濃的東西更能吸引人們的注意力，這就是突出，把事物前景化。例如，在教學(xué)中在PPT畫面上用藝術(shù)體、黑體、大體字，可以使文字突出；在文字中加上圖片可以更能引起學(xué)生的注意等。 第二，美麗的東西、怪誕的東西、幽默的東西更能引起人們的興趣，提高學(xué)生的參與度，所以，在教學(xué)中，用現(xiàn)代技術(shù)提供美麗的圖片，幽默的簡(jiǎn)筆畫，美麗的環(huán)境介紹可以使學(xué)生積極參與，注意力集中。 第三，有挑戰(zhàn)性的環(huán)境，或?qū)沟沫h(huán)境，或者幽默的環(huán)境，可以激發(fā)人們參與的熱情，如提供一些有一定難度的破解題，謎題；描述一個(gè)對(duì)抗的語(yǔ)境；或者提供一項(xiàng)交際任務(wù)等。,41,7.2.3. 作為補(bǔ)充 模態(tài)的選擇要以增加正效應(yīng)為原則，具體可以包括：互相強(qiáng)化、互相協(xié)調(diào)、前景背景、整體部分（抽象具體）等關(guān)系。 1. 強(qiáng)化關(guān)系 用PPT顯示句子“Peter was killed in a traffic accident”， 并可同時(shí)讀出這個(gè)句子，在PPT畫面上配上皮特發(fā)生車禍的照片，或者放一段發(fā)生車禍的錄像片，配上發(fā)生車禍?zhǔn)堑穆曇舻取?2. 協(xié)調(diào)關(guān)系 協(xié)調(diào)關(guān)系是利用多模態(tài)之間的協(xié)調(diào)性，就是還原人類社會(huì)交際的本來(lái)面目，即由一種媒體不能獨(dú)自完成的交際任務(wù)可以由其他媒體來(lái)補(bǔ)充。例如，在講包括下面一個(gè)對(duì)話的故事時(shí)，如果沒(méi)有圖畫，我們會(huì)不知所云： [1] Big Nutbrown Hare， “I love you as high as I can reach.” Little Nutbrown Hare， “That is quite high. I wish I had arms like that.” 但是如果我們配上圖畫就很容易了，而且還很幽默。,42,43,3. 前景背景關(guān)系 第三種選擇多模態(tài)教學(xué)的依據(jù)是語(yǔ)言交際中的前景和背景的關(guān)系。在外語(yǔ)教學(xué)中，語(yǔ)言交際顯然都是處在前景中，由其他模態(tài)提供背景。例如，在戲劇的開始，首先出現(xiàn)一個(gè)布景，提供事件發(fā)生的時(shí)間、地點(diǎn)、環(huán)境，還可以包括人物等。 4. 整體部分（抽象具體）關(guān)系 在多媒體時(shí)代，教師可以通過(guò)選擇合適的媒體來(lái)提供具體的信息，從而使學(xué)生能更清楚地理解所教的內(nèi)容。例如，當(dāng)你教授一種新奇的動(dòng)物或者植物時(shí)，你一般首先提供名稱，然后做些簡(jiǎn)單的講解。學(xué)生仍然不知所云。但如果提供一個(gè)照片，如果條件允許的話，提供一段有關(guān)這種動(dòng)物或者植物的錄像，會(huì)使學(xué)生一目了然。,44,7.3.4 多模態(tài)選擇的目標(biāo) 從經(jīng)濟(jì)的角度講，使用單模態(tài)要比用多模態(tài)要簡(jiǎn)單、省力，所以使用多模態(tài)進(jìn)行交際必然要有一定的理由，組成這些理由的最主要因素是使用多模態(tài)的所要取得的效果或者目標(biāo)；形成多模態(tài)選擇的動(dòng)因可以總結(jié)為一下幾個(gè)方面：,45,1. 補(bǔ)缺，一種模態(tài)不足以表達(dá)意義，或不能使聽話者理解意義，用另一種來(lái)補(bǔ)充剩余的意義，即一種模態(tài)只能體現(xiàn)要表達(dá)的部分意義，另一部分需要通過(guò)另一種模態(tài)來(lái)體現(xiàn)，例如：在較遠(yuǎn)的距離內(nèi)或者噪雜的環(huán)境中喊叫某個(gè)人時(shí)同時(shí)打手勢(shì)；在幽默圖畫中只提供語(yǔ)境依賴性強(qiáng)的書面話語(yǔ)，或者在錄像中提供同類口頭話語(yǔ)。圖畫沒(méi)有文字則不能把整體意義表達(dá)出來(lái)；同樣錄像沒(méi)有口頭話語(yǔ)也會(huì)使看者一頭霧水。 2. 強(qiáng)化，一種模態(tài)表達(dá)整體意義，另一種來(lái)突出部分意義，例如：（重音、黑體、前景圖像、彩色等） 目的：使重點(diǎn)意義突出。,46,3. 吸引注意力，一種模態(tài)表達(dá)基本的意義，另一種來(lái)更加具體和形象地重現(xiàn)這種意義；例如，用文字標(biāo)出某個(gè)動(dòng)物或者植物的名稱，用圖像把這種動(dòng)物或者植物的典型形式表現(xiàn)出來(lái)；用語(yǔ)言藝術(shù)、圖像、動(dòng)作來(lái)幽默的表達(dá)意義，吸引聽話者的注意力等； 形象 幽默 激發(fā)興趣 目的：使讀者或聽話者把注意力轉(zhuǎn)移到話語(yǔ)交際上來(lái)。,47,4.抒發(fā)情感，用一種模態(tài)來(lái)表達(dá)基本的概念意義，用另一種模態(tài)來(lái)表達(dá)人際意義，包括態(tài)度、情感、目的等，例如：在用文字描述游行事件的同時(shí)，用照片再現(xiàn)當(dāng)時(shí)的場(chǎng)景，用一定的角度和方式把警察表現(xiàn)為邪惡的人，或者用相同的方法把他們表現(xiàn)為英雄，都屬于這一類。 喜愛(ài) 憎恨 目的：力圖左右聽話者或者讀者的態(tài)度和價(jià)值觀等，使其轉(zhuǎn)向有利于自己的觀點(diǎn)和態(tài)度。,48,5. 易理解，一種模態(tài)表達(dá)比較抽象、概括、偏僻、難度特別大、深?yuàn)W道理或者結(jié)論等，用另一種模態(tài)來(lái)提供其實(shí)例、說(shuō)明、關(guān)系等使理解更加容易。例如，在談?wù)擙垥r(shí)，在中國(guó)人頭腦中出現(xiàn)的形象是中國(guó)雄偉榮耀的、代表皇帝的龍。即使說(shuō)的是西方的龍，如果不加說(shuō)明，也是如此；用文字說(shuō)明則需要很多的話語(yǔ)，但用圖形方式表現(xiàn)出來(lái)則十分容易理解，因?yàn)楦鶕?jù)形象本身我們就可以發(fā)現(xiàn)，西方的龍是邪惡的化身。這類多模態(tài)的用途還包括用表格表示數(shù)量和關(guān)系、用簡(jiǎn)化圖表示理論框架、用流程圖表示進(jìn)程等。 具體化、形象化、圖形化、關(guān)系化 目的：使所交流的信息易于被聽話者理解和接受，避免模糊和不確定性理解。,49,8. 多模態(tài)讀寫 （多元識(shí)作）,多模態(tài)讀寫(Multiliteracy)指具有閱讀可接觸到的所有媒體和模態(tài)的信息，并能據(jù)此產(chǎn)生相應(yīng)的材料，如閱讀互聯(lián)網(wǎng)或互動(dòng)的多媒體的能力。 傳統(tǒng)的以讀寫為主的讀寫能力在多媒體時(shí)代已不夠用。 其次，在教育中，教室里不斷增加使用多種媒體，如圖像操作軟件、電子音樂(lè)、科學(xué)模擬、存在于計(jì)算機(jī)上的虛擬劇場(chǎng)等。多模態(tài)化和多元符號(hào)學(xué)試圖把這些信遞形式理論化，探討各種圖像、詞語(yǔ)和動(dòng)作的模態(tài)如何互相依賴，以產(chǎn)生整體意義(Williamson 2005) 。,50,重要的是有時(shí)一種模態(tài)需要依賴其他模態(tài)來(lái)完成信遞行為，如沒(méi)有口述的詞語(yǔ)說(shuō)明，圖表會(huì)一無(wú)意義；沒(méi)有模型課件，教師用手做的節(jié)奏性動(dòng)作也就沒(méi)有意義；因而每一種模態(tài)，作為符號(hào)資源，對(duì)所做的表達(dá)都有貢獻(xiàn)。 學(xué)生的任務(wù)是將教師的各模式和符號(hào)資源轉(zhuǎn)變?yōu)槔斫狻?51,多模態(tài)讀寫是多元讀寫能力（Multiliteracies）的主要組成部分；多元讀寫能力也包括多元模態(tài)讀寫能力。 在全球化的今天，多元讀寫能力用來(lái)描寫語(yǔ)言和文化的多樣性和對(duì)變異的尊重。雖然多元文化概念擴(kuò)展了對(duì)知識(shí)的看法，它也加大了能接觸不同“讀寫方法”和不能接觸這些讀寫方法的識(shí)讀者之間的鴻溝。 這樣，讀寫能力有兩層意思，文化讀寫能力和技術(shù)讀寫能力，后者就是多模態(tài)讀寫能力。,52,8.1多元讀寫能力的類型 Thwaites(1999)提出了六種主要的多元讀寫能力，分別是： 1.科技讀寫能力：在多模態(tài)話語(yǔ)時(shí)代，許多模態(tài)是由科技手段實(shí)現(xiàn)的，如網(wǎng)絡(luò)、計(jì)算機(jī)、PPT等。所以，提高多元讀寫能力需要學(xué)生學(xué)好學(xué)習(xí)現(xiàn)代科技知識(shí)，掌握現(xiàn)代技術(shù)設(shè)備的使用和操作。 2.模態(tài)讀寫能力：學(xué)習(xí)了解有哪些媒體可以用作交際的手段，各自可實(shí)現(xiàn)什么模態(tài)，以及這些模態(tài)之間在體現(xiàn)語(yǔ)篇的整體意義中的關(guān)系。 3. 文化讀寫能力：文化讀寫能力是多元讀寫能力中最關(guān)鍵的能力，它包括相關(guān)的業(yè)務(wù)知識(shí)、有關(guān)社會(huì)的基本知識(shí)，相關(guān)的道德標(biāo)準(zhǔn)和原則等。,53,4. 政治讀寫能力：政治讀寫能力包括有成熟的政治立場(chǎng)和覺(jué)悟，掌握有關(guān)政治的知識(shí)，對(duì)政治的敏感度，以及對(duì)政治現(xiàn)象的解讀能力。 5. 批評(píng)讀寫能力：多元讀寫能力的重要組成部分之一是對(duì)選擇的模態(tài)和表達(dá)的意義有批評(píng)能力。學(xué)生不僅要學(xué)會(huì)相關(guān)的知識(shí)，還必須要有自己的觀點(diǎn)。 6.后現(xiàn)代讀寫能力( postmodern literacy) (Thwaites, 1999)：后現(xiàn)代主義推崇解構(gòu)主義，強(qiáng)調(diào)變異性、獨(dú)特性、異質(zhì)性和多元化，反對(duì)以規(guī)范和定律來(lái)認(rèn)識(shí)事物。這和多模態(tài)交際的出現(xiàn)是一致的。,54,8.2 多元讀寫能力的培養(yǎng) 除了學(xué)生要主動(dòng)學(xué)習(xí)之外，再一個(gè)關(guān)鍵因素是老師在學(xué)生的多元讀寫能力的發(fā)展方面的作用。新倫敦小組（the New London Group, 1996）提出了以下四個(gè)方面的教學(xué)方式：實(shí)景實(shí)踐、明確指導(dǎo)、批評(píng)性解讀、轉(zhuǎn)化的實(shí)踐。 已有的建立在語(yǔ)境、交際、知識(shí)、形式、功能、認(rèn)知等基礎(chǔ)上的教學(xué)方法很多，那么為什么新倫敦小組會(huì)提出這些方面呢？這四者之間是什么關(guān)系呢？按照新倫敦小組的觀點(diǎn)（1996），它們之間沒(méi)有先后關(guān)系，或者存在復(fù)雜的關(guān)系，難以以一種模式來(lái)固定的。 實(shí)際上，這四個(gè)方面是任何學(xué)習(xí)都涉及的過(guò)程，只是在以前的教學(xué)方法中，每個(gè)方法通常只強(qiáng)調(diào)其中一個(gè)方面，而忽略其他。例如，語(yǔ)法翻譯法等強(qiáng)調(diào)知識(shí)學(xué)習(xí)的重要性，把一切看作知識(shí)，而忽視了實(shí)踐能力；而交際教學(xué)法、情景教學(xué)法、任務(wù)教學(xué)法等則強(qiáng)調(diào)實(shí)踐的重要性，而忽視其他；反思教學(xué)法強(qiáng)調(diào)反思的作用。,55,(1) 實(shí)景實(shí)踐 實(shí)景實(shí)踐的關(guān)鍵因素是完全投入到實(shí)踐的交際過(guò)程中，以學(xué)習(xí)者已經(jīng)有的經(jīng)歷和已經(jīng)掌握的知識(shí)為基礎(chǔ)來(lái)發(fā)展某些基本技能或者獲取某些知識(shí)，這個(gè)過(guò)程也需要把學(xué)習(xí)者的文化或次文化態(tài)度考慮在內(nèi)，而不是把學(xué)習(xí)者當(dāng)作訓(xùn)練的對(duì)象。這是個(gè)設(shè)計(jì)過(guò)程。 學(xué)生需要運(yùn)用一系列話語(yǔ)來(lái)浸入實(shí)際的訓(xùn)練中，也就是說(shuō)，學(xué)生需要進(jìn)行真正的社會(huì)實(shí)踐來(lái)學(xué)習(xí)。在這個(gè)過(guò)程中，可以有教師的指導(dǎo)。新倫敦小組所推崇的實(shí)踐教學(xué)方法是浸入法，即學(xué)生需要完全進(jìn)入實(shí)際社會(huì)交際中來(lái)提高多元讀寫能力，所以，交際教學(xué)法、任務(wù)教學(xué)法、商談教學(xué)法都是直接用語(yǔ)言及相關(guān)模態(tài)進(jìn)行交際的，可以在多模態(tài)教學(xué)中發(fā)揮作用。,56,實(shí)景實(shí)踐說(shuō)起來(lái)容易，但做起來(lái)難。在三個(gè)方面需要在這個(gè)基礎(chǔ)上向外延伸。 第一、多元讀寫能力包括多種能力，在實(shí)踐中同時(shí)學(xué)習(xí)這些能力很難； 第二、在多模態(tài)話語(yǔ)時(shí)代，要學(xué)習(xí)符號(hào)資源不僅是語(yǔ)言，而且是很多其他模態(tài)。新倫敦小組（1996）把它們總結(jié)為以下類別： （1）語(yǔ)言類：語(yǔ)言表達(dá)、詞匯和隱喻、情態(tài)、及物性、過(guò)程的正規(guī)化、信息結(jié)構(gòu)、局部連貫關(guān)系、宏觀連貫關(guān)系； （2）視覺(jué)類：顏色、視角、前景化與背景化等； （3）身勢(shì)類：行為、身體動(dòng)作、手勢(shì)、感覺(jué)、情感、身勢(shì)語(yǔ)、空間關(guān)系等； （4）空間類：生態(tài)系統(tǒng)、地理位置、建筑系統(tǒng)等； （5）聲音類：音樂(lè)、聲響等。,57,這么多類別的模態(tài)系統(tǒng)同時(shí)學(xué)習(xí)難度很大； 第三、可以進(jìn)行浸入式學(xué)習(xí)的環(huán)境更是有限，不僅是受時(shí)空的影響，而且受到科技等多種條件的影響。 所以，從這個(gè)角度講，真正的浸入式教學(xué)和學(xué)習(xí)是很少見的，因?yàn)榻o教學(xué)可提供的環(huán)境和條件是很難達(dá)到的。這樣，我們可以從兩個(gè)方面來(lái)克服這個(gè)問(wèn)題。 一是減少需要學(xué)習(xí)的模態(tài)類型； 二是為浸入式教學(xué)提供可替代的教學(xué)模式。,58,1：篩選要求學(xué)生學(xué)習(xí)的模態(tài)和模態(tài)組合，去掉哪些對(duì)有意識(shí)交際意義不大的模態(tài)或者模態(tài)組合： （1）剔除無(wú)意識(shí)模態(tài)：在交際過(guò)程中，為了使交際成功，要選擇適合完成交際任務(wù)的模態(tài)，如在外語(yǔ)教學(xué)中，教學(xué)的首選模態(tài)一般是口語(yǔ)話語(yǔ)，同時(shí)，為了增強(qiáng)效果，也同時(shí)選擇黑板板書，或PPT上的圖像、動(dòng)畫、彩色文字等。而老師在交際中的手勢(shì)、面部表情、動(dòng)作等則是無(wú)意識(shí)產(chǎn)生的。對(duì)于這類模態(tài)，雖然在交際中是其作用的，但不必要進(jìn)行精心設(shè)計(jì)。 （2）淡化輔助性模態(tài)：在眾多交際模態(tài)中，有些起主要作用，為主模態(tài)，如教學(xué)中的口語(yǔ)，讀書中書面語(yǔ)；有些模態(tài)只是起輔助作用，用以增強(qiáng)效果，如身體的動(dòng)作、PPT上顯示的文字、圖畫、動(dòng)畫等。對(duì)于輔助性模態(tài)要利用好，使其產(chǎn)生增效作用，而避免無(wú)效模態(tài)和低效模態(tài)。,59,2. 用科技手段提高模擬實(shí)踐環(huán)節(jié)，如錄像、實(shí)景學(xué)習(xí)軟件等。也就是說(shuō)，如果找不到合適的主模態(tài)，則需要尋找相近的、等效的或者近效的模態(tài)來(lái)替代它，以求盡量產(chǎn)生好的效果。 （1）用空間布局提供合適的實(shí)踐環(huán)境，如在教室里布置合適的環(huán)境，讓學(xué)生在假設(shè)的環(huán)境中進(jìn)行實(shí)踐活動(dòng)；在教室中布置合適的桌椅布局，創(chuàng)造適合于辯論、協(xié)商、交談的環(huán)境； （2）用圖像、動(dòng)畫等創(chuàng)設(shè)接近于真實(shí)語(yǔ)境的環(huán)境，使學(xué)生感覺(jué)在真實(shí)的語(yǔ)境中交際；編撰合適軟件，把真實(shí)的語(yǔ)境置入軟件中，在真實(shí)環(huán)境中創(chuàng)造交際環(huán)境，讓學(xué)生參與到實(shí)際交際中去等。,60,(2) 明確指導(dǎo) 明確指導(dǎo)也是一個(gè)設(shè)計(jì)過(guò)程，其主要目的是發(fā)展學(xué)生的已有資源（已有設(shè)計(jì)資源）。 明確指導(dǎo)的目標(biāo)不是像傳統(tǒng)的教學(xué)那樣，灌輸知識(shí)、進(jìn)行訓(xùn)練、死記硬背，而是讓學(xué)生： （1）明確交際的基本規(guī)律、基本程序、具體步驟等，了解相關(guān)的知識(shí)； （2）有意識(shí)地控制他們學(xué)過(guò)的東西，能夠了解那是重點(diǎn)，那是焦點(diǎn)信息；這些知識(shí)與以前已經(jīng)學(xué)過(guò)的東西有什么關(guān)系，是否是其一個(gè)部分，是否可以豐富已有資源，組成新的知識(shí)框架。 （3）教他們做到他們自己做不到的事情，學(xué)習(xí)新的知識(shí)，發(fā)展新的能力。,61,學(xué)生學(xué)習(xí)是學(xué)自己以前沒(méi)有掌握的東西，所以，必然涉及學(xué)習(xí)新的知識(shí)、技能、能力等。老師的作用是把學(xué)生引入到這些新的知識(shí)和能力中。這個(gè)過(guò)程其中一個(gè)重要步驟是要給學(xué)生明確的指導(dǎo)，包括指導(dǎo)他們?nèi)绾芜M(jìn)行活動(dòng)，以及老師如何指導(dǎo)他們等。 第一、這些理論和知識(shí)首先包括元語(yǔ)言，即用以論述和討論這個(gè)領(lǐng)域的語(yǔ)言，以使學(xué)生能夠?qū)ο嚓P(guān)的領(lǐng)域進(jìn)行反思、討論、概括、推理等。 這些理論知識(shí)是需要老師教的。,62,第二，這些理論和知識(shí)包括模態(tài)的系統(tǒng)特征，如在現(xiàn)代社會(huì)交際中主要有哪些主要模態(tài)在起作用；語(yǔ)言作為主要的教學(xué)對(duì)象的系統(tǒng)特征，包括媒體（音系、字系）、詞匯語(yǔ)法和語(yǔ)義系統(tǒng)；以及除語(yǔ)言之外的其他主要模態(tài)系統(tǒng)的媒體、詞匯語(yǔ)法和語(yǔ)義系統(tǒng)，和語(yǔ)言與其他模態(tài)之間的關(guān)系等。 最后，這些知識(shí)還包括模態(tài)在社會(huì)交際中的基本模式和功能，包括模態(tài)選擇的基本規(guī)則和模式；不同模態(tài)的專用性、意義范圍、供用特征、功能負(fù)荷等；語(yǔ)言及相關(guān)模態(tài)所體現(xiàn)的領(lǐng)域的相關(guān)知識(shí)。,63,從這個(gè)角度講，實(shí)景實(shí)踐和課堂講授是一體的，無(wú)法分分孰先孰后。 在不需要明確的指導(dǎo)即可進(jìn)行的學(xué)習(xí)活動(dòng)中，如口譯活動(dòng)、商務(wù)活動(dòng)、法庭辯論等，可以首先進(jìn)行實(shí)景實(shí)踐，然后補(bǔ)充相關(guān)的理論知識(shí)，注意事項(xiàng)，最佳活動(dòng)程序等。 而在不經(jīng)過(guò)指導(dǎo)則無(wú)法進(jìn)行的學(xué)習(xí)活動(dòng)中，則需要首先老師給予明確的指導(dǎo)，然后再進(jìn)行實(shí)踐活動(dòng)。,64,(3) 批評(píng)性框定 批評(píng)性框定是使學(xué)習(xí)者能夠整理他們?cè)趯?shí)踐中已經(jīng)學(xué)過(guò)的東西，有意識(shí)地控制和理解知識(shí)系統(tǒng)和社會(huì)實(shí)踐之間的歷史、文化、社會(huì)、政治、意識(shí)形態(tài)、價(jià)值方面的關(guān)系。 批評(píng)性框定是把學(xué)習(xí)者在自然狀態(tài)下學(xué)習(xí)的知識(shí)陌生化，把它從原生態(tài)狀態(tài)提取出來(lái)，成為可以進(jìn)行研究、討論、評(píng)價(jià)、改編、總結(jié)、概括、抽象的東西。 批評(píng)性框定把語(yǔ)言和其他模態(tài)從行為者和解讀者兩個(gè)方面進(jìn)行解釋，把產(chǎn)出的話語(yǔ)放到社會(huì)文化和語(yǔ)境中進(jìn)行解釋。通過(guò)批評(píng)性框定，學(xué)生能夠以一定個(gè)人或社會(huì)距離以及客觀地來(lái)看待自己學(xué)習(xí)的東西，能夠建設(shè)性地批評(píng)它，解釋它在整個(gè)文化中的位置，創(chuàng)造性地延伸和應(yīng)用它，并能最后自己在此基礎(chǔ)上進(jìn)行創(chuàng)造性的工作。,65,批評(píng)性框定實(shí)際上出現(xiàn)在整個(gè)教學(xué)過(guò)程中，教師時(shí)刻在培養(yǎng)學(xué)生的批評(píng)性意識(shí)和看問(wèn)題的角度和層次。 與此同時(shí)，教師也應(yīng)該專門設(shè)計(jì)教學(xué)環(huán)節(jié)來(lái)提高學(xué)生的創(chuàng)新能力，包括以下方法： 設(shè)計(jì)問(wèn)題，就相關(guān)內(nèi)容發(fā)表自己的觀點(diǎn)，包括使用相關(guān)的模態(tài)； 閱讀相關(guān)領(lǐng)域的多模態(tài)語(yǔ)篇，并就其內(nèi)容的某個(gè)方面寫出自己的看法和觀點(diǎn)； 設(shè)計(jì)相關(guān)的題目，讓學(xué)生就這些題目創(chuàng)作多模態(tài)語(yǔ)篇。 批評(píng)性框定仍然是一個(gè)設(shè)計(jì)過(guò)程，但是從設(shè)計(jì)過(guò)程向再設(shè)計(jì)過(guò)渡的過(guò)程。,66,(4) 轉(zhuǎn)化的實(shí)踐 轉(zhuǎn)化的實(shí)踐是反思性活動(dòng)的結(jié)果，是建立在循環(huán)課程和建構(gòu)主義教學(xué)實(shí)踐的基礎(chǔ)之上的。它屬于再設(shè)計(jì)。 學(xué)生對(duì)其所學(xué)的東西從設(shè)計(jì)和實(shí)踐上進(jìn)行反思，他把他學(xué)到的構(gòu)建意義的能力在不同的語(yǔ)境中用于實(shí)踐，對(duì)學(xué)生的理論知識(shí)和實(shí)踐能力的測(cè)試就把學(xué)生的這種能力作為主要測(cè)試對(duì)象。,67,這個(gè)階段把實(shí)踐中得到的知識(shí)和經(jīng)歷固化，成為學(xué)習(xí)者的知識(shí)進(jìn)入學(xué)習(xí)者的知識(shí)結(jié)構(gòu)中。 教學(xué)實(shí)踐的目標(biāo)不是就實(shí)踐而實(shí)踐，而是為了使學(xué)生掌握相關(guān)的知識(shí)，提高多元讀寫能力。從這個(gè)角度講，新倫敦小組所推崇的另一個(gè)教學(xué)方法是重復(fù)和循環(huán)教學(xué)法，對(duì)已經(jīng)學(xué)過(guò)的內(nèi)容要通過(guò)一定的方式進(jìn)行重現(xiàn)，使其循環(huán)式上升。 在設(shè)計(jì)中，要把已有的資源與新的學(xué)習(xí)內(nèi)容結(jié)合起來(lái)，在前后知識(shí)上建立通道，使其不斷深入、固化，成為學(xué)習(xí)者的知識(shí)和能力。,68,四個(gè)教學(xué)階段的關(guān)系和順序 轉(zhuǎn)化的實(shí)踐是以上三個(gè)設(shè)計(jì)過(guò)程的結(jié)果，顯然是在以上三個(gè)過(guò)程之后，但這個(gè)過(guò)程不是終結(jié)，因?yàn)樵S多知識(shí)和能力是要經(jīng)過(guò)反復(fù)實(shí)踐來(lái)獲得的。 轉(zhuǎn)化的實(shí)踐可以在需要時(shí)轉(zhuǎn)化為實(shí)景實(shí)踐，形成一個(gè)循環(huán)模式。 新倫敦小組認(rèn)為這四個(gè)部分不分先后，可以以任何順序進(jìn)行，所以，他們沒(méi)有設(shè)計(jì)出一個(gè)教學(xué)程序。Kalantzis, M et al (2005)根據(jù)新倫敦小組的觀點(diǎn)設(shè)計(jì)了多元讀寫能力自學(xué)的模式，如下圖所示。,69,,70,71,在這個(gè)模式中，有四個(gè)知識(shí)學(xué)習(xí)過(guò)程：親身經(jīng)歷、思想概念、分析過(guò)程、應(yīng)用過(guò)程。在每個(gè)過(guò)程中都有兩個(gè)可選擇的過(guò)程：一般的、普通的學(xué)習(xí)過(guò)程，由內(nèi)圓所確定的范圍表示；突出的、前景化的過(guò)程，有外圓所確定的范圍表示。 在親身經(jīng)歷中，學(xué)生通過(guò)日常生活的經(jīng)歷所學(xué)習(xí)的個(gè)人經(jīng)歷是已知的過(guò)程；學(xué)生通過(guò)浸入式學(xué)習(xí)學(xué)到的是新信息、新經(jīng)歷。 在思想概念中，學(xué)生通過(guò)定義和運(yùn)用概念學(xué)習(xí)新的概念；通過(guò)把概念結(jié)合起來(lái)，組成學(xué)科知識(shí)而學(xué)習(xí)理論； 在分析過(guò)程中，學(xué)生通過(guò)從功能上分析來(lái)了解事物的因果關(guān)系；通過(guò)從批評(píng)的角度分析來(lái)認(rèn)識(shí)交際者的交際目的、動(dòng)因、意圖、觀點(diǎn)等； 在應(yīng)用過(guò)程中，一般的來(lái)講，是學(xué)生把學(xué)習(xí)的理論恰當(dāng)?shù)貞?yīng)用到典型的語(yǔ)境中；學(xué)生也可以創(chuàng)新性地把知識(shí)應(yīng)用在其他的語(yǔ)境中，產(chǎn)生知識(shí)的轉(zhuǎn)換。,72,,圖2a 新設(shè)計(jì)學(xué)習(xí)的框架,分析評(píng)價(jià) 功能的 批評(píng)的,,,,73,這個(gè)模式一方面顯示了一個(gè)自然的學(xué)習(xí)順序（由粗箭頭表示）：學(xué)生通過(guò)實(shí)踐獲得經(jīng)驗(yàn)和經(jīng)歷，然后概念化和理論化而升華，形成知識(shí)；然后通過(guò)分析和評(píng)價(jià)而成為學(xué)習(xí)者個(gè)人意義潛勢(shì)中的一個(gè)部分。在此，實(shí)踐和概念化可以根據(jù)語(yǔ)境的不同而調(diào)換位置。 另一方面，這些階段不是嚴(yán)格意義上階段成分，而是可以根據(jù)需要隨時(shí)改變這個(gè)順序。例如，分析和評(píng)價(jià)都需要和語(yǔ)境聯(lián)系起來(lái)，它們都可以通過(guò)中間的通道和直接通道打通。 第三，這個(gè)學(xué)習(xí)模式最后的結(jié)果是一個(gè)循環(huán)模式：轉(zhuǎn)化的實(shí)踐又可以應(yīng)用到實(shí)踐中作為已有的設(shè)計(jì)資源來(lái)參與另一輪的循環(huán)。,74,教學(xué)的目的是使學(xué)生學(xué)習(xí)好，因此，也應(yīng)該使其符合學(xué)生學(xué)習(xí)的一般認(rèn)知規(guī)律。因此，從這個(gè)學(xué)習(xí)模式可以演化出一個(gè)教學(xué)模式。 這個(gè)教學(xué)模式的無(wú)標(biāo)記順序是：實(shí)景實(shí)踐和明確指導(dǎo)可以根據(jù)語(yǔ)境的需要而變換順序。例如，在所學(xué)的對(duì)象難度大時(shí)，就需要首先需要老師的指導(dǎo)，再進(jìn)行實(shí)踐；而在以及能為主的學(xué)習(xí)任務(wù)中，則應(yīng)該把實(shí)踐放在首位，進(jìn)行浸入式學(xué)習(xí)。 這樣這個(gè)模式的無(wú)標(biāo)記模型可用圖3表示。 其整體模式由圖4表示。,75,圖3. 多元讀寫能力的培養(yǎng)教學(xué)模式,76,實(shí)景實(shí)踐,明確指導(dǎo),批評(píng)性框定,轉(zhuǎn)化的實(shí)踐,教學(xué)階段,,,圖4. 多元讀寫能力培養(yǎng)教學(xué)設(shè)計(jì),批評(píng)性框定,,,,77,8.問(wèn)題與不足,多模態(tài)話語(yǔ)分析理論仍在初級(jí)階段，而且其難度更大。 1. 解釋存在主觀性，不同的解讀者可能得出不同的結(jié)論。 2. 解釋沒(méi)有規(guī)律和規(guī)則可循，還沒(méi)有一套解析圖像、動(dòng)畫等的方法。 3. 多維的多模態(tài)話語(yǔ)解析難度大。一維的文字和口語(yǔ)的解析方式比較簡(jiǎn)單，開始和結(jié)尾的標(biāo)記都比較清晰，但二維的圖畫如何解析、三維的空間和思維的動(dòng)畫如何解析，還需要進(jìn)一步研究。,78,9.下一步的研究,Holsonova把多模態(tài)化分析研究的不同方法分為七個(gè)視角: (1)研究不同模態(tài)之間的差異性是強(qiáng)調(diào)各模式有各自內(nèi)在的優(yōu)劣，因此不同的模態(tài)宜用于表達(dá)不同的信息類型。 (2)根據(jù)不同模態(tài)之間的相似性，重點(diǎn)研究不同模態(tài)的相似方面。例如，在分析語(yǔ)言和圖畫時(shí)，采用同樣的分析范疇。這種觀點(diǎn)認(rèn)為圖畫和其他視覺(jué)成分與語(yǔ)言一樣，也具有符號(hào)的語(yǔ)法。 (3)根據(jù)不同模態(tài)之間的相互作用研究各模態(tài)是否有主次? 是否彼此互補(bǔ)? 是否其中一個(gè)模態(tài)可以加強(qiáng)其他模態(tài)提供的信息? 是減少其他模態(tài)的信息還是增加信息? (4)對(duì)不同模態(tài)的模式如何可以實(shí)現(xiàn)形式化?,79,(5)對(duì)不同模態(tài)及其相互作用的感知，如有的研究使用眼跟蹤器( eye-trackers)和詞句協(xié)議( verbal protocols) 。 (6)對(duì)會(huì)話模態(tài)的復(fù)制，這方面的研究強(qiáng)調(diào)多模態(tài)產(chǎn)品的應(yīng)用不是以感知作為終結(jié)。從一個(gè)多模態(tài)成果獲得的信息可以在另一個(gè)信遞場(chǎng)合重建和討論。如果在傳遞過(guò)程中信息打包維持原樣或發(fā)生變化都是值得注意的現(xiàn)象。 ( 7)多模態(tài)的互動(dòng)，包括我們作為個(gè)體與他人互動(dòng)時(shí)或采用多模態(tài)系統(tǒng)時(shí)，使用言語(yǔ)、手勢(shì)、體語(yǔ)、面部表情，接近或凝視的情景。,80,10.結(jié)語(yǔ),一.多模態(tài)基本理論 1.理論背景介紹 2.理論基礎(chǔ) 3.多模態(tài)資源 4.多模態(tài)設(shè)計(jì) 5.多模態(tài)語(yǔ)法 6.多模態(tài)形式之間的關(guān)系,81,二、教學(xué)中的應(yīng)用 多模態(tài)選擇的程序 多模態(tài)選擇的動(dòng)因 多模態(tài)選擇的目標(biāo) 多元讀寫能力培養(yǎng),82,謝謝 請(qǐng)批評(píng)指正,83,