《張德祿-多模態(tài)話語分析理論與外語教學》由會員分享，可在線閱讀，更多相關《張德祿-多模態(tài)話語分析理論與外語教學（83頁珍藏版）》請在裝配圖網(wǎng)上搜索。

多模態(tài)話語分析 理論及在教學中的應用,張德祿 dlzh@,1,目錄,1. 引言 2. 理論基礎 3. 符號資源 4. 多模態(tài)設計 5. 多模態(tài)語法 6. 模態(tài)之間的關系 7. 模態(tài)選擇及用途 8. 多模態(tài)讀寫 9. 問題與不足 10. 將來的研究,2,1.引言 多模態(tài)性在歷史上沒有受到人們的重視; 在現(xiàn)代語言學研究中：被看作非語言特征和伴隨語言特征；一種語言的輔助表達系統(tǒng)，沒有作為意義表達模態(tài)來研究。 多模態(tài)產生的原因： （1）是話語分析理論發(fā)展的一個歷史階段：人們發(fā)現(xiàn)話語的意義很大一部分是由非語言特征實現(xiàn)的。 （2）人類話語越來越多模態(tài)化：多媒體和網(wǎng)絡的產生促進了多模態(tài)話語的研究；人類的交際過程需要聽覺、視覺、觸覺并用；在一些領域，交際的主模態(tài)已經由語言轉為圖像或其它模態(tài)，網(wǎng)頁、電影、畫展等。,3,1.1 多模態(tài)話語分析研究 1.最早的研究者之一是R. Barthes，在他1977年發(fā)表的論文《圖像的修辭》（ Rhetoric of the image）中探討了圖像在表達意義上與語言的相互作用。另外幾個主要的研究者包括： 2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模態(tài)與媒體的關系，專門探討了多模態(tài)現(xiàn)象規(guī)則地表達意義的現(xiàn)象，包括視覺圖象、顏色的語法，以及報紙的版面設計和不同媒介的作用等。 3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不僅研究多模態(tài)的理論建構，還專門研究了數(shù)學語篇中的多模態(tài)現(xiàn)象。 5. Royce， T. (1998a; 1998b; 2002)研究了不同符號在多模態(tài)話語中的互補性，以及在第二語言課堂教學中多模態(tài)的協(xié)同性等。 還有其他許多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。,4,1.2 模態(tài)與媒體（Mode vs medium） 模態(tài)（modality）來自于mode/model(方式、模式），表示可對比和對立的符號系統(tǒng)； 媒體是符號分布印跡的物質手段，如產生語篇采用印刷的或手寫的手段，說話時發(fā)出的聲音，身體的動作，或計算機顯示器上的光脈沖( Scollon & Levine 2004) 。 我們感受客觀世界的視覺、聽覺、觸覺、味覺、嗅覺是不同的感知模態(tài)，但眼、耳、手、舌、鼻則是媒體。 這樣，模態(tài)是用某種媒體表達信息的特殊方式。媒體是表達信息的物理工具。,5,1.3 單模態(tài) (monomodality) vs 多模態(tài) (multimodality 單模態(tài)是只通過一種模態(tài)進行交際活動的現(xiàn)象，如說話、聽錄音、讀書。前者為通過聽覺模態(tài)；后者為通過視覺模態(tài)。 多模態(tài)表達可以分解為同時表達意義的兩個或兩個以上的單模態(tài)(Bernsen 2002) 。我們每天在看報紙、雜志、廣告、招貼畫、故事書、教科書、活頁文選、百科全書、說明書、計算機界面時，甚至在我們相互交往時都離不開多模態(tài)。我們談話時手舞足蹈，有聲有色，也意味著使用了多模態(tài)。 多模態(tài)話語：運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。,6,2. 理論基礎,多模態(tài)話語分析理論的基礎是社會符號學 索緒爾：能指（signifier)----所指(signified)。只研究個體符號的特性；只研究“Langue”，不研究“parole”。 皮爾斯發(fā)展了符號范疇：圖標、索引和語符。他論述的媒介、對象、解釋三位一體的三角關系。 韓禮德提出了“語言是社會符號”的理論。社會符號學優(yōu)先研究的是把所指行為作為實例，并把社會的所指實踐作為經常的、可重復的、可識辨的類型。社會有意義的實踐構成各種文化(社會符號系統(tǒng)) 。符號系統(tǒng)是對這些實踐的抽象(如從言語得到語言符號) 。 Saussure → Langue Parole ← Halliday Pierce,7,社會符號學沒有必要區(qū)分理論符號學和應用符號學，它與話語分析、多媒體分析、教育研究、文化人類學、政治社會學有更緊密的關系。 再者，它也回答了索緒爾符號學所難以擺脫的一個悖論：這個理論一方面把語言看作是靜態(tài)的不變的，另一方面又不得不承認“所指的變化導致概念的變化”，“思想可能被迫接受符號的物質狀態(tài)給它提供的特殊方式” (Lemke 2005) 。這說明語言結構底層的常規(guī)是不固定的，而是受到實際言語的影響。(Beaugrande 1991: 2 - 27)。 社會符號學把語言看作眾多符號之一，各種符號系統(tǒng)都能夠用以社會交際，體現(xiàn)講話者的意義。這樣，交際就是多模態(tài)的了。,8,3.符號資源,符號系統(tǒng)實際上是符號資源( semiotic resource)系統(tǒng)，人們通過可識別的、多半是習慣性的(有時是原創(chuàng)的)方法從這些資源中選擇，就可以進行有意義的活動(Lemke 1993) 。 所謂習慣性的方法指可確認的符號架構( semiotic formations) ，是一個社團中的成員同時采用一些符號資源形成的經常的、可重復的、可識別的、有意義的、文化的和歷史的特殊符號類型。如某一時期的文學語類是符號架構。同樣，建筑風格、房子類型、宗教儀式、特定節(jié)日、飲食、衣著的特定樣式都可以定義為可行動的有規(guī)律的范式，對社會是有意義的實踐的范式。,9,Kress(2001)認為，所有的模態(tài)(視覺的、姿態(tài)的、動作的) ，像語言一樣，在社會使用過程中共同形成社會資源的模態(tài)(Halliday 1985, Kress 1997) 。 傳統(tǒng)上書寫和口語的模態(tài)強調語言方面，而把其他資源，如姿勢、語音音律、注視、動作等看作是“副語言的”，不把這些看作是能與語言同時作用的完整的符號資源。多模態(tài)話語分析把它們提高到相同的層面。,10,媒體資源的分類 （1） 語言與非語言 張德祿（2009）對媒體的類別根據(jù)是否語言和是否身體的對外語教學中的媒體系統(tǒng)做了歸類： 非語言媒體 表達意義的非語言媒體包括交際者的肢體動作和交際者在意義表達中所使用的非語言手段，如工具、環(huán)境等。,11,肢體媒體： (1) 與頭部有關的動作，包括眼神、擠眼、凝視、搖頭、點頭、仰頭、低頭、歡喜的表情、傷心的表情、嫉恨的表情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的動作形成的媒體符號等。 (2) 由手臂和腿形成的媒體符號，包括手勢，手臂的狀態(tài)、形成的形狀、搖動等，腿的并立、踢跳、彎伸等。 (3) 軀干的動作，如姿勢、移動、搖擺、模擬等。,12,非肢體媒體 主要包括工具和環(huán)境兩個方面。 隨著現(xiàn)代科學技術的發(fā)展，交際者肢體以外的交際媒體變得十分發(fā)達。從起初的音響設備到現(xiàn)在的網(wǎng)絡平臺、同聲傳譯室等都是工具性媒體。 除此之外，交際者還可以利用環(huán)境中已有的所有符號系統(tǒng)來進行交際，包括現(xiàn)場環(huán)境中的人和物、有象征意義的符號等(見圖1。),13,語言媒體 從傳統(tǒng)的語言學研究的角度講，實現(xiàn)意義傳播的媒體形式主要有兩種：聲波傳導的聲音符號和由筆等生成的書寫符號。這兩種媒體是語言傳播信息的主要媒介。但隨著信息技術的不斷發(fā)展，其他技術開始用于語言信息的傳播，如計算機文字輸入、計算機語音識別等，但最后的傳播媒體仍然是聲音或者字符。 伴語言媒體 對語言意義的傳遞起到輔助、補充和強化的作用，包括音響、聲音的大小、音調、聲音的頻率、口音、語氣、以及字體形狀、大小、空間的布局等。這些伴隨語言的媒體特征對意義整體的表達起著十分重要的作用，有時是關鍵作用，因為它可以引起整體意義的改變，如用聲調表達態(tài)度。,14,15,（2） 靜態(tài)與動態(tài) Thibault(2004)對符號資源的研究比較具體。他從身體動力學的研究區(qū)分動態(tài)的和靜態(tài)的: (1)靜態(tài)的表達媒體,如文字、圖片、表格、繪畫等。 (2)動態(tài)的研究指面對面的互動、動畫、電影、使用錄像機等。,16,（3） 兩個層次與三個層次 根據(jù)系統(tǒng)的復雜性，媒體系統(tǒng)可以分為兩個層次的和三個層次的。 兩個層次的符號系統(tǒng)比較簡單，是符號的能指和所指可一一對應，不通過詞匯語法的系統(tǒng)，例如：交通信號系統(tǒng)是兩個層次的符號系統(tǒng)： 語言是三個層次的符號系統(tǒng)。,17,（ 4）. 維度 媒體的維度是一個重要的區(qū)分條件，因為維度之間的區(qū)別很重要，可以直接影響對符號的識別難度。媒體的維度現(xiàn)在一般還是局限在四個之內： 一維的是線性的：口語和書面語； 二維的是平面的：平面圖畫； 三維的是立體的：立體圖形； 四維的是動態(tài)的，是可移動的三維符號系統(tǒng)，如電影、動畫等。,18,4. 設計,設計是制造語篇和識讀語篇的過程。 書面語占統(tǒng)治地位的設計：寫作的邏輯曾經塑造了頁面的順序和書本。 新媒體時代的設計：當今占統(tǒng)治地位的媒體是屏幕，不管是游戲機、移動電話、個人電腦或者電視和錄像。因此現(xiàn)在屏幕的邏輯正在塑造新的順序和對屏幕的安排。雖然文字寫作可以出現(xiàn)在屏幕上，但它從屬于圖像，如同過去圖像可出現(xiàn)于書本上，但從屬于文字寫作。因此圖像將越來越塑造寫作的出現(xiàn)和用途，這一過程已在公眾信息傳遞的事例中出現(xiàn)。 過去，作者的形象和寫作的方式占統(tǒng)治地位；在新的屏幕設計中，設計者和圖像的模式占統(tǒng)治地位。(Kress 2004)。,19,Kress (2004)重視設計者的作用。所有符號資源都具有社會意義，屬于特定文化。多模態(tài)符號(詞語、文字、信件、色彩、字體)的復雜信息反映了設計者的盡量選用多種符號表達意義的意愿。 設計者根據(jù)符號特殊的修辭目的，用盡各種手段來勸誘那些有機遇接觸該信息的人們。頁面/網(wǎng)址的設計者不再是權威性語篇的“作者”，但他是材料的提供者，按照想象中讀者的所謂特點進行安排。 設計者的作用是將材料集中，加工為訪問者可提取的“信息”。屏幕設計要考慮訪問者的興趣。對訪問者來說,“信息是個體選擇的材料，經他們轉換，成為可以解決有生世界問題的知識”。,20,設計是在一定語境下進行的。在多模態(tài)信息傳遞中，關鍵是選擇相應的設計。如果表達和塑造信息時有多種方法，有待回答的問題是： 就要傳遞的內容或意義來說，哪一種模態(tài)最好? 哪一種模態(tài)在塑造所傳播信息時最能符合設計者的興趣? 設計者的聽眾或他自己最喜愛哪一種媒體? 在選擇某個媒體或模態(tài)而不是其他時，設計者對自己的定位? 所有這些都需要作出抉擇。,21,根據(jù)新倫敦小組(New London Group 2000)的觀點，任何制造意義的過程基本上都是設計行為。一般有三個部分: 第一,已有資源：根據(jù)“可利用的設計”，擇取某些符號資源和常規(guī)，如話語形式、語類和方言。 第二,設計過程,：包括將符號資源轉變成自己的聲音，將老材料作新用途等。根據(jù)這一觀點，讀和聽、寫和說是進行設計的實例，因為每個人都可利用可利用的設計來產生意義，根據(jù)各自的興趣和個人經驗，將所讀到和聽到的材料轉化成意義。,22,第三, “重新設計”：由設計過程產生的資源或重新產生的意義，又可成為一種新的可利用的設計，具有制造意義潛力的新的資源。 這樣，設計的觀點不僅應用于原創(chuàng)性活動，更應當看作是日常經歷的核心部分，因而這是教育過程中應當強調的重要成分。(Williamson 2005)。,23,5. 語法,在多模態(tài)話語選擇中最關鍵的因素是如何使不同模態(tài)的相互配合來獲得最佳交際效果，而這種模態(tài)之間的配合主要是在形式層面，特別是語法層面表現(xiàn)出來的。 根據(jù)系統(tǒng)功能語言學理論（Halliday, 1973; 1985），語言要同時體現(xiàn)三種元功能——概念功能、人際功能、謀篇功能。 那么，從多模態(tài)話語的角度講，除了語言之外，其他符號系統(tǒng)也同樣是實現(xiàn)三個元功能的系統(tǒng)，如Kress and van Leeuwen (1996) 和 O'Toole (1994) 把多元功能的思想延伸到圖像上，提出視覺語法的概念；O'Toole (1994) 則提出了一個以多元功能分析為基礎的，用于分析圖畫的模式。,24,例如，Kress and van Leeuwen (1996)建立了一個圖像分析的社會符號學框架。 模擬系統(tǒng)功能語言學中的功能語法的及物性系統(tǒng)，他們把把圖像的語法系統(tǒng)分為敘事類和概念類。在敘事類中，有行動過程、反應過程和心理與話語過程。行動過程表示圖像所表現(xiàn)的動作和行為，由動作者和一個矢量，再加情景成分組成。,25,26,The dentist is examining the patient’s teeth.,,,,反應過程也是由矢量組成的，是一個或多個圖像中的參與者的目光的方向構成的。心理和言語過程是矢量由話語和思維形成的，在圖像中通常由言語泡或思維泡組成。,27,這樣話語的敘事表現(xiàn)可以由下圖表示：,28,圖像的概念類過程實際上表達語言的關系過程的主要內容，分為分類過程、分析過程和象征過程。 分類過程表示一組相似的參與者，個體特征、距離和等級相同，溝通從屬于一個更高層次的參與者，它可以是顯性的，也可以是隱性的。 分析過程實際上表示整體部分，即整體可以分析為部分。其關系是整體部分關系。另外，他們還區(qū)分了窮盡的和包含的，類型學和拓撲學的分析過程。 象征過程表示參與者是什么或者意味著什么。它可以有兩個參與者，一個是承載者，另一個表示其意義或者身份，是象征屬性。,29,30,31,與此同時，他們還討論了體現(xiàn)人際意義的特征，包括距離、接觸、視點和情態(tài)等。 從這個角度講，我們有兩個問題需要考慮： 一是每個符號系統(tǒng)的語法如何確定？ 二是各個符號系統(tǒng)的語法如何相互協(xié)作來共同實現(xiàn)三個元功能？,32,6.多模態(tài)話語的形式及其關系,6.1 多模態(tài)話語的形式 媒體只有通過形式層面的組織和模式化才具有直接表達意義的能力。 形式對媒介進行組織有兩種手段：一是直接賦予某個媒介符號某種意義。由這種符號組成的符號系統(tǒng)通常沒有能產性、沒有任意性； 二是把一定的媒介符號進行組合，然后賦予這種組合一定的意義，這就是語法的作用。由這種符號和符號組成規(guī)則形成的符號系統(tǒng)具有任意性、能產性、雙分性，由三個層次的代碼組成（媒介、形式（詞匯語法）和意義）。語言屬于這一類。 語言：詞匯—語法 圖像：圖符—圖形語法 音響：音符—聲響語法 接觸：實體--感觸語法,33,6.2 多模態(tài)話語形式之間的關系 運用多模態(tài)的理由：一種模態(tài)不足以表達清楚交際者的意義，從而利用另一者來強化、補充、調節(jié)、協(xié)同，達到更加充分，或者盡量充分表達意義，讓聽話者理解話語的目的。 關系：互補 vs 非互補 互補：強化（突出、主次、擴充） vs 非強化（交叉、聯(lián)合、協(xié)調） 非互補：交疊（冗余、排斥、抵消）vs 內包（部分、具體）vs 語境交互（獨立vs 依賴）,34,35,借用韓禮德的功能語法研究中的邏輯語義關系，來表示不同模態(tài)之間的關系： 說明 詳述 例證 擴展 延伸 時間 邏輯語義 增強 空間 關系 因果 話語 投射 思想 邏輯語義關系（Martinec & Salway, 2005).,36,7.外語教學中的模態(tài)選擇,7.1 模態(tài)選擇程序 對多模態(tài)話語理論框架進行選擇的基本程序是： 意義選擇：在文化語境中，受意識形態(tài)的支配和體裁系統(tǒng)的制約，根據(jù)具體的情景語境，選擇要表達的意義，包括概念意義、人際意義和謀篇意義； 意義體現(xiàn)：所選擇的意義要以合適的模態(tài)表達出來：即時的—口語；安靜的—手勢； 同樣，對多模態(tài)的選擇也是受語境的制約的：噪音—聲音+手勢。,37,不同模態(tài)之間的相互配合問題：語義表達的需要；交際的需要。我們在選擇中所要考慮的關鍵因素是在一定的情景中，如何選擇合適模態(tài)來有效地表達所要傳達的意義。 模態(tài)與媒體基本上是形式和實體的關系。模態(tài)語法確定選擇什么樣的媒體。如視覺語法確定不同視覺媒體之間的相互配合。例如，課堂教學：熟悉的事物：語言講解；不熟悉的事物：講解 + 實物 （圖像等）。,38,7.2 模態(tài)選擇的動因 總體原則：充分利用現(xiàn)代媒體技術，最大限度地充分表達講話者的意義，取得最佳效果，為更好地利用現(xiàn)代技術提供一個合適的理論框架。 基本思路：人類交際中意義的體現(xiàn)具有多模態(tài)特點：在形式層面涉及不同模態(tài)的詞匯語法系統(tǒng)之間的關系；形式層面由媒體來體現(xiàn)。現(xiàn)代媒體技術都主要是在媒體層面，所以充分利用好現(xiàn)代媒體技術是重要的研究課題。 在多模態(tài)話語交際框架下，對模態(tài)的選擇可以從三個角度進行： （1）為外語教學提供教學情景和便利條件（工具）； （2）為外語教學提供輔助條件（助手）； （3）為多模態(tài)話語交際提供多通道話語意義表達方式（補充）。,39,7.2.1 作為工具 多媒體技術的發(fā)展實際上為提供盡可能真實的語境的提供了便利條件，可以提供圖像、錄像、聲音，作為學習的實際環(huán)境。利用從真實交際場合中得到的錄像材料作為： （1）學習材料，讓學生了解和認識真實語境的實際情況，使獲得的語境知識更加具體； （2）背景信息，讓學生與錄像中的交際者在錄像提供的語境中進行交際。 發(fā)展現(xiàn)代多媒體技術的一個最基本的理念是多模態(tài)交際可以使受話人通過多通道獲得信息，比單模態(tài)話語更容易使受話者理解和記憶。 如 PPT: 文字、語音、圖形、圖像、錄像：視覺和聽覺,40,7.2.2. 作為助手 為教師提供條件，使他的工作容易進行；現(xiàn)代技術還可以從內部提供動力，使教師和學生從內心愿意從事這種活動，把外因轉化為內因。 第一，特殊的東西、大的東西、顏色艷麗或者濃的東西更能吸引人們的注意力，這就是突出，把事物前景化。例如，在教學中在PPT畫面上用藝術體、黑體、大體字，可以使文字突出；在文字中加上圖片可以更能引起學生的注意等。 第二，美麗的東西、怪誕的東西、幽默的東西更能引起人們的興趣，提高學生的參與度，所以，在教學中，用現(xiàn)代技術提供美麗的圖片，幽默的簡筆畫，美麗的環(huán)境介紹可以使學生積極參與，注意力集中。 第三，有挑戰(zhàn)性的環(huán)境，或對抗的環(huán)境，或者幽默的環(huán)境，可以激發(fā)人們參與的熱情，如提供一些有一定難度的破解題，謎題；描述一個對抗的語境；或者提供一項交際任務等。,41,7.2.3. 作為補充 模態(tài)的選擇要以增加正效應為原則，具體可以包括：互相強化、互相協(xié)調、前景背景、整體部分（抽象具體）等關系。 1. 強化關系 用PPT顯示句子“Peter was killed in a traffic accident”， 并可同時讀出這個句子，在PPT畫面上配上皮特發(fā)生車禍的照片，或者放一段發(fā)生車禍的錄像片，配上發(fā)生車禍是的聲音等。 2. 協(xié)調關系 協(xié)調關系是利用多模態(tài)之間的協(xié)調性，就是還原人類社會交際的本來面目，即由一種媒體不能獨自完成的交際任務可以由其他媒體來補充。例如，在講包括下面一個對話的故事時，如果沒有圖畫，我們會不知所云： [1] Big Nutbrown Hare， “I love you as high as I can reach.” Little Nutbrown Hare， “That is quite high. I wish I had arms like that.” 但是如果我們配上圖畫就很容易了，而且還很幽默。,42,43,3. 前景背景關系 第三種選擇多模態(tài)教學的依據(jù)是語言交際中的前景和背景的關系。在外語教學中，語言交際顯然都是處在前景中，由其他模態(tài)提供背景。例如，在戲劇的開始，首先出現(xiàn)一個布景，提供事件發(fā)生的時間、地點、環(huán)境，還可以包括人物等。 4. 整體部分（抽象具體）關系 在多媒體時代，教師可以通過選擇合適的媒體來提供具體的信息，從而使學生能更清楚地理解所教的內容。例如，當你教授一種新奇的動物或者植物時，你一般首先提供名稱，然后做些簡單的講解。學生仍然不知所云。但如果提供一個照片，如果條件允許的話，提供一段有關這種動物或者植物的錄像，會使學生一目了然。,44,7.3.4 多模態(tài)選擇的目標 從經濟的角度講，使用單模態(tài)要比用多模態(tài)要簡單、省力，所以使用多模態(tài)進行交際必然要有一定的理由，組成這些理由的最主要因素是使用多模態(tài)的所要取得的效果或者目標；形成多模態(tài)選擇的動因可以總結為一下幾個方面：,45,1. 補缺，一種模態(tài)不足以表達意義，或不能使聽話者理解意義，用另一種來補充剩余的意義，即一種模態(tài)只能體現(xiàn)要表達的部分意義，另一部分需要通過另一種模態(tài)來體現(xiàn)，例如：在較遠的距離內或者噪雜的環(huán)境中喊叫某個人時同時打手勢；在幽默圖畫中只提供語境依賴性強的書面話語，或者在錄像中提供同類口頭話語。圖畫沒有文字則不能把整體意義表達出來；同樣錄像沒有口頭話語也會使看者一頭霧水。 2. 強化，一種模態(tài)表達整體意義，另一種來突出部分意義，例如：（重音、黑體、前景圖像、彩色等） 目的：使重點意義突出。,46,3. 吸引注意力，一種模態(tài)表達基本的意義，另一種來更加具體和形象地重現(xiàn)這種意義；例如，用文字標出某個動物或者植物的名稱，用圖像把這種動物或者植物的典型形式表現(xiàn)出來；用語言藝術、圖像、動作來幽默的表達意義，吸引聽話者的注意力等； 形象 幽默 激發(fā)興趣 目的：使讀者或聽話者把注意力轉移到話語交際上來。,47,4.抒發(fā)情感，用一種模態(tài)來表達基本的概念意義，用另一種模態(tài)來表達人際意義，包括態(tài)度、情感、目的等，例如：在用文字描述游行事件的同時，用照片再現(xiàn)當時的場景，用一定的角度和方式把警察表現(xiàn)為邪惡的人，或者用相同的方法把他們表現(xiàn)為英雄，都屬于這一類。 喜愛 憎恨 目的：力圖左右聽話者或者讀者的態(tài)度和價值觀等，使其轉向有利于自己的觀點和態(tài)度。,48,5. 易理解，一種模態(tài)表達比較抽象、概括、偏僻、難度特別大、深奧道理或者結論等，用另一種模態(tài)來提供其實例、說明、關系等使理解更加容易。例如，在談論龍時，在中國人頭腦中出現(xiàn)的形象是中國雄偉榮耀的、代表皇帝的龍。即使說的是西方的龍，如果不加說明，也是如此；用文字說明則需要很多的話語，但用圖形方式表現(xiàn)出來則十分容易理解，因為根據(jù)形象本身我們就可以發(fā)現(xiàn)，西方的龍是邪惡的化身。這類多模態(tài)的用途還包括用表格表示數(shù)量和關系、用簡化圖表示理論框架、用流程圖表示進程等。 具體化、形象化、圖形化、關系化 目的：使所交流的信息易于被聽話者理解和接受，避免模糊和不確定性理解。,49,8. 多模態(tài)讀寫 （多元識作）,多模態(tài)讀寫(Multiliteracy)指具有閱讀可接觸到的所有媒體和模態(tài)的信息，并能據(jù)此產生相應的材料，如閱讀互聯(lián)網(wǎng)或互動的多媒體的能力。 傳統(tǒng)的以讀寫為主的讀寫能力在多媒體時代已不夠用。 其次，在教育中，教室里不斷增加使用多種媒體，如圖像操作軟件、電子音樂、科學模擬、存在于計算機上的虛擬劇場等。多模態(tài)化和多元符號學試圖把這些信遞形式理論化，探討各種圖像、詞語和動作的模態(tài)如何互相依賴，以產生整體意義(Williamson 2005) 。,50,重要的是有時一種模態(tài)需要依賴其他模態(tài)來完成信遞行為，如沒有口述的詞語說明，圖表會一無意義；沒有模型課件，教師用手做的節(jié)奏性動作也就沒有意義；因而每一種模態(tài)，作為符號資源，對所做的表達都有貢獻。 學生的任務是將教師的各模式和符號資源轉變?yōu)槔斫狻?51,多模態(tài)讀寫是多元讀寫能力（Multiliteracies）的主要組成部分；多元讀寫能力也包括多元模態(tài)讀寫能力。 在全球化的今天，多元讀寫能力用來描寫語言和文化的多樣性和對變異的尊重。雖然多元文化概念擴展了對知識的看法，它也加大了能接觸不同“讀寫方法”和不能接觸這些讀寫方法的識讀者之間的鴻溝。 這樣，讀寫能力有兩層意思，文化讀寫能力和技術讀寫能力，后者就是多模態(tài)讀寫能力。,52,8.1多元讀寫能力的類型 Thwaites(1999)提出了六種主要的多元讀寫能力，分別是： 1.科技讀寫能力：在多模態(tài)話語時代，許多模態(tài)是由科技手段實現(xiàn)的，如網(wǎng)絡、計算機、PPT等。所以，提高多元讀寫能力需要學生學好學習現(xiàn)代科技知識，掌握現(xiàn)代技術設備的使用和操作。 2.模態(tài)讀寫能力：學習了解有哪些媒體可以用作交際的手段，各自可實現(xiàn)什么模態(tài)，以及這些模態(tài)之間在體現(xiàn)語篇的整體意義中的關系。 3. 文化讀寫能力：文化讀寫能力是多元讀寫能力中最關鍵的能力，它包括相關的業(yè)務知識、有關社會的基本知識，相關的道德標準和原則等。,53,4. 政治讀寫能力：政治讀寫能力包括有成熟的政治立場和覺悟，掌握有關政治的知識，對政治的敏感度，以及對政治現(xiàn)象的解讀能力。 5. 批評讀寫能力：多元讀寫能力的重要組成部分之一是對選擇的模態(tài)和表達的意義有批評能力。學生不僅要學會相關的知識，還必須要有自己的觀點。 6.后現(xiàn)代讀寫能力( postmodern literacy) (Thwaites, 1999)：后現(xiàn)代主義推崇解構主義，強調變異性、獨特性、異質性和多元化，反對以規(guī)范和定律來認識事物。這和多模態(tài)交際的出現(xiàn)是一致的。,54,8.2 多元讀寫能力的培養(yǎng) 除了學生要主動學習之外，再一個關鍵因素是老師在學生的多元讀寫能力的發(fā)展方面的作用。新倫敦小組（the New London Group, 1996）提出了以下四個方面的教學方式：實景實踐、明確指導、批評性解讀、轉化的實踐。 已有的建立在語境、交際、知識、形式、功能、認知等基礎上的教學方法很多，那么為什么新倫敦小組會提出這些方面呢？這四者之間是什么關系呢？按照新倫敦小組的觀點（1996），它們之間沒有先后關系，或者存在復雜的關系，難以以一種模式來固定的。 實際上，這四個方面是任何學習都涉及的過程，只是在以前的教學方法中，每個方法通常只強調其中一個方面，而忽略其他。例如，語法翻譯法等強調知識學習的重要性，把一切看作知識，而忽視了實踐能力；而交際教學法、情景教學法、任務教學法等則強調實踐的重要性，而忽視其他；反思教學法強調反思的作用。,55,(1) 實景實踐 實景實踐的關鍵因素是完全投入到實踐的交際過程中，以學習者已經有的經歷和已經掌握的知識為基礎來發(fā)展某些基本技能或者獲取某些知識，這個過程也需要把學習者的文化或次文化態(tài)度考慮在內，而不是把學習者當作訓練的對象。這是個設計過程。 學生需要運用一系列話語來浸入實際的訓練中，也就是說，學生需要進行真正的社會實踐來學習。在這個過程中，可以有教師的指導。新倫敦小組所推崇的實踐教學方法是浸入法，即學生需要完全進入實際社會交際中來提高多元讀寫能力，所以，交際教學法、任務教學法、商談教學法都是直接用語言及相關模態(tài)進行交際的，可以在多模態(tài)教學中發(fā)揮作用。,56,實景實踐說起來容易，但做起來難。在三個方面需要在這個基礎上向外延伸。 第一、多元讀寫能力包括多種能力，在實踐中同時學習這些能力很難； 第二、在多模態(tài)話語時代，要學習符號資源不僅是語言，而且是很多其他模態(tài)。新倫敦小組（1996）把它們總結為以下類別： （1）語言類：語言表達、詞匯和隱喻、情態(tài)、及物性、過程的正規(guī)化、信息結構、局部連貫關系、宏觀連貫關系； （2）視覺類：顏色、視角、前景化與背景化等； （3）身勢類：行為、身體動作、手勢、感覺、情感、身勢語、空間關系等； （4）空間類：生態(tài)系統(tǒng)、地理位置、建筑系統(tǒng)等； （5）聲音類：音樂、聲響等。,57,這么多類別的模態(tài)系統(tǒng)同時學習難度很大； 第三、可以進行浸入式學習的環(huán)境更是有限，不僅是受時空的影響，而且受到科技等多種條件的影響。 所以，從這個角度講，真正的浸入式教學和學習是很少見的，因為給教學可提供的環(huán)境和條件是很難達到的。這樣，我們可以從兩個方面來克服這個問題。 一是減少需要學習的模態(tài)類型； 二是為浸入式教學提供可替代的教學模式。,58,1：篩選要求學生學習的模態(tài)和模態(tài)組合，去掉哪些對有意識交際意義不大的模態(tài)或者模態(tài)組合： （1）剔除無意識模態(tài)：在交際過程中，為了使交際成功，要選擇適合完成交際任務的模態(tài)，如在外語教學中，教學的首選模態(tài)一般是口語話語，同時，為了增強效果，也同時選擇黑板板書，或PPT上的圖像、動畫、彩色文字等。而老師在交際中的手勢、面部表情、動作等則是無意識產生的。對于這類模態(tài)，雖然在交際中是其作用的，但不必要進行精心設計。 （2）淡化輔助性模態(tài)：在眾多交際模態(tài)中，有些起主要作用，為主模態(tài)，如教學中的口語，讀書中書面語；有些模態(tài)只是起輔助作用，用以增強效果，如身體的動作、PPT上顯示的文字、圖畫、動畫等。對于輔助性模態(tài)要利用好，使其產生增效作用，而避免無效模態(tài)和低效模態(tài)。,59,2. 用科技手段提高模擬實踐環(huán)節(jié)，如錄像、實景學習軟件等。也就是說，如果找不到合適的主模態(tài)，則需要尋找相近的、等效的或者近效的模態(tài)來替代它，以求盡量產生好的效果。 （1）用空間布局提供合適的實踐環(huán)境，如在教室里布置合適的環(huán)境，讓學生在假設的環(huán)境中進行實踐活動；在教室中布置合適的桌椅布局，創(chuàng)造適合于辯論、協(xié)商、交談的環(huán)境； （2）用圖像、動畫等創(chuàng)設接近于真實語境的環(huán)境，使學生感覺在真實的語境中交際；編撰合適軟件，把真實的語境置入軟件中，在真實環(huán)境中創(chuàng)造交際環(huán)境，讓學生參與到實際交際中去等。,60,(2) 明確指導 明確指導也是一個設計過程，其主要目的是發(fā)展學生的已有資源（已有設計資源）。 明確指導的目標不是像傳統(tǒng)的教學那樣，灌輸知識、進行訓練、死記硬背，而是讓學生： （1）明確交際的基本規(guī)律、基本程序、具體步驟等，了解相關的知識； （2）有意識地控制他們學過的東西，能夠了解那是重點，那是焦點信息；這些知識與以前已經學過的東西有什么關系，是否是其一個部分，是否可以豐富已有資源，組成新的知識框架。 （3）教他們做到他們自己做不到的事情，學習新的知識，發(fā)展新的能力。,61,學生學習是學自己以前沒有掌握的東西，所以，必然涉及學習新的知識、技能、能力等。老師的作用是把學生引入到這些新的知識和能力中。這個過程其中一個重要步驟是要給學生明確的指導，包括指導他們如何進行活動，以及老師如何指導他們等。 第一、這些理論和知識首先包括元語言，即用以論述和討論這個領域的語言，以使學生能夠對相關的領域進行反思、討論、概括、推理等。 這些理論知識是需要老師教的。,62,第二，這些理論和知識包括模態(tài)的系統(tǒng)特征，如在現(xiàn)代社會交際中主要有哪些主要模態(tài)在起作用；語言作為主要的教學對象的系統(tǒng)特征，包括媒體（音系、字系）、詞匯語法和語義系統(tǒng)；以及除語言之外的其他主要模態(tài)系統(tǒng)的媒體、詞匯語法和語義系統(tǒng)，和語言與其他模態(tài)之間的關系等。 最后，這些知識還包括模態(tài)在社會交際中的基本模式和功能，包括模態(tài)選擇的基本規(guī)則和模式；不同模態(tài)的專用性、意義范圍、供用特征、功能負荷等；語言及相關模態(tài)所體現(xiàn)的領域的相關知識。,63,從這個角度講，實景實踐和課堂講授是一體的，無法分分孰先孰后。 在不需要明確的指導即可進行的學習活動中，如口譯活動、商務活動、法庭辯論等，可以首先進行實景實踐，然后補充相關的理論知識，注意事項，最佳活動程序等。 而在不經過指導則無法進行的學習活動中，則需要首先老師給予明確的指導，然后再進行實踐活動。,64,(3) 批評性框定 批評性框定是使學習者能夠整理他們在實踐中已經學過的東西，有意識地控制和理解知識系統(tǒng)和社會實踐之間的歷史、文化、社會、政治、意識形態(tài)、價值方面的關系。 批評性框定是把學習者在自然狀態(tài)下學習的知識陌生化，把它從原生態(tài)狀態(tài)提取出來，成為可以進行研究、討論、評價、改編、總結、概括、抽象的東西。 批評性框定把語言和其他模態(tài)從行為者和解讀者兩個方面進行解釋，把產出的話語放到社會文化和語境中進行解釋。通過批評性框定，學生能夠以一定個人或社會距離以及客觀地來看待自己學習的東西，能夠建設性地批評它，解釋它在整個文化中的位置，創(chuàng)造性地延伸和應用它，并能最后自己在此基礎上進行創(chuàng)造性的工作。,65,批評性框定實際上出現(xiàn)在整個教學過程中，教師時刻在培養(yǎng)學生的批評性意識和看問題的角度和層次。 與此同時，教師也應該專門設計教學環(huán)節(jié)來提高學生的創(chuàng)新能力，包括以下方法： 設計問題，就相關內容發(fā)表自己的觀點，包括使用相關的模態(tài)； 閱讀相關領域的多模態(tài)語篇，并就其內容的某個方面寫出自己的看法和觀點； 設計相關的題目，讓學生就這些題目創(chuàng)作多模態(tài)語篇。 批評性框定仍然是一個設計過程，但是從設計過程向再設計過渡的過程。,66,(4) 轉化的實踐 轉化的實踐是反思性活動的結果，是建立在循環(huán)課程和建構主義教學實踐的基礎之上的。它屬于再設計。 學生對其所學的東西從設計和實踐上進行反思，他把他學到的構建意義的能力在不同的語境中用于實踐，對學生的理論知識和實踐能力的測試就把學生的這種能力作為主要測試對象。,67,這個階段把實踐中得到的知識和經歷固化，成為學習者的知識進入學習者的知識結構中。 教學實踐的目標不是就實踐而實踐，而是為了使學生掌握相關的知識，提高多元讀寫能力。從這個角度講，新倫敦小組所推崇的另一個教學方法是重復和循環(huán)教學法，對已經學過的內容要通過一定的方式進行重現(xiàn)，使其循環(huán)式上升。 在設計中，要把已有的資源與新的學習內容結合起來，在前后知識上建立通道，使其不斷深入、固化，成為學習者的知識和能力。,68,四個教學階段的關系和順序 轉化的實踐是以上三個設計過程的結果，顯然是在以上三個過程之后，但這個過程不是終結，因為許多知識和能力是要經過反復實踐來獲得的。 轉化的實踐可以在需要時轉化為實景實踐，形成一個循環(huán)模式。 新倫敦小組認為這四個部分不分先后，可以以任何順序進行，所以，他們沒有設計出一個教學程序。Kalantzis, M et al (2005)根據(jù)新倫敦小組的觀點設計了多元讀寫能力自學的模式，如下圖所示。,69,,70,71,在這個模式中，有四個知識學習過程：親身經歷、思想概念、分析過程、應用過程。在每個過程中都有兩個可選擇的過程：一般的、普通的學習過程，由內圓所確定的范圍表示；突出的、前景化的過程，有外圓所確定的范圍表示。 在親身經歷中，學生通過日常生活的經歷所學習的個人經歷是已知的過程；學生通過浸入式學習學到的是新信息、新經歷。 在思想概念中，學生通過定義和運用概念學習新的概念；通過把概念結合起來，組成學科知識而學習理論； 在分析過程中，學生通過從功能上分析來了解事物的因果關系；通過從批評的角度分析來認識交際者的交際目的、動因、意圖、觀點等； 在應用過程中，一般的來講，是學生把學習的理論恰當?shù)貞玫降湫偷恼Z境中；學生也可以創(chuàng)新性地把知識應用在其他的語境中，產生知識的轉換。,72,,圖2a 新設計學習的框架,分析評價 功能的 批評的,,,,73,這個模式一方面顯示了一個自然的學習順序（由粗箭頭表示）：學生通過實踐獲得經驗和經歷，然后概念化和理論化而升華，形成知識；然后通過分析和評價而成為學習者個人意義潛勢中的一個部分。在此，實踐和概念化可以根據(jù)語境的不同而調換位置。 另一方面，這些階段不是嚴格意義上階段成分，而是可以根據(jù)需要隨時改變這個順序。例如，分析和評價都需要和語境聯(lián)系起來，它們都可以通過中間的通道和直接通道打通。 第三，這個學習模式最后的結果是一個循環(huán)模式：轉化的實踐又可以應用到實踐中作為已有的設計資源來參與另一輪的循環(huán)。,74,教學的目的是使學生學習好，因此，也應該使其符合學生學習的一般認知規(guī)律。因此，從這個學習模式可以演化出一個教學模式。 這個教學模式的無標記順序是：實景實踐和明確指導可以根據(jù)語境的需要而變換順序。例如，在所學的對象難度大時，就需要首先需要老師的指導，再進行實踐；而在以及能為主的學習任務中，則應該把實踐放在首位，進行浸入式學習。 這樣這個模式的無標記模型可用圖3表示。 其整體模式由圖4表示。,75,圖3. 多元讀寫能力的培養(yǎng)教學模式,76,實景實踐,明確指導,批評性框定,轉化的實踐,教學階段,,,圖4. 多元讀寫能力培養(yǎng)教學設計,批評性框定,,,,77,8.問題與不足,多模態(tài)話語分析理論仍在初級階段，而且其難度更大。 1. 解釋存在主觀性，不同的解讀者可能得出不同的結論。 2. 解釋沒有規(guī)律和規(guī)則可循，還沒有一套解析圖像、動畫等的方法。 3. 多維的多模態(tài)話語解析難度大。一維的文字和口語的解析方式比較簡單，開始和結尾的標記都比較清晰，但二維的圖畫如何解析、三維的空間和思維的動畫如何解析，還需要進一步研究。,78,9.下一步的研究,Holsonova把多模態(tài)化分析研究的不同方法分為七個視角: (1)研究不同模態(tài)之間的差異性是強調各模式有各自內在的優(yōu)劣，因此不同的模態(tài)宜用于表達不同的信息類型。 (2)根據(jù)不同模態(tài)之間的相似性，重點研究不同模態(tài)的相似方面。例如，在分析語言和圖畫時，采用同樣的分析范疇。這種觀點認為圖畫和其他視覺成分與語言一樣，也具有符號的語法。 (3)根據(jù)不同模態(tài)之間的相互作用研究各模態(tài)是否有主次? 是否彼此互補? 是否其中一個模態(tài)可以加強其他模態(tài)提供的信息? 是減少其他模態(tài)的信息還是增加信息? (4)對不同模態(tài)的模式如何可以實現(xiàn)形式化?,79,(5)對不同模態(tài)及其相互作用的感知，如有的研究使用眼跟蹤器( eye-trackers)和詞句協(xié)議( verbal protocols) 。 (6)對會話模態(tài)的復制，這方面的研究強調多模態(tài)產品的應用不是以感知作為終結。從一個多模態(tài)成果獲得的信息可以在另一個信遞場合重建和討論。如果在傳遞過程中信息打包維持原樣或發(fā)生變化都是值得注意的現(xiàn)象。 ( 7)多模態(tài)的互動，包括我們作為個體與他人互動時或采用多模態(tài)系統(tǒng)時，使用言語、手勢、體語、面部表情，接近或凝視的情景。,80,10.結語,一.多模態(tài)基本理論 1.理論背景介紹 2.理論基礎 3.多模態(tài)資源 4.多模態(tài)設計 5.多模態(tài)語法 6.多模態(tài)形式之間的關系,81,二、教學中的應用 多模態(tài)選擇的程序 多模態(tài)選擇的動因 多模態(tài)選擇的目標 多元讀寫能力培養(yǎng),82,謝謝 請批評指正,83,