多模态话语分析综合框架

多模态话语理论与现代媒体技术在外语教学中的应用11.0引言话语分析转入多模态话语分析阶段:人类的实际交际过程：听觉、视觉、触觉并用伴语言特征：音响度、声调、语调、音速等;身体特征:如手势、身势、面部表情、动作、移动等非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。首先，根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架；然后，探讨不同的模态及其之间的关系；第三，探讨实现模态的不同媒体系统；最后，探讨如何在外语教学中选择模态和媒体。2多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。这种现象司空见惯，自古有之，如诗歌配上图画，说话时打手势做鬼脸，使用不同口气和腔调等。系统功能语言学是最适合于研究多模态话语的理论模式，其主要原因有以下三个方面：（1）系统功能语言学不仅关心语言内部的运作机制，同时还研究语言外的环境和动因；（2）系统功能语言学把话语的意义和功能放在首要位置上；（3）意义的实现是以多模态形式进行的，语言只是这些形式中最有效的一种。32.0多模态话语分析的理论基础系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。这个框架主要由五个层面的系统和选择的基本因素和条件组成(Martin,1992)。这五个层面分别是：（1）文化层面，意识形态、体裁；（2）语境层面，话语范围、话语基调和话语方式（3）意义层面，概念意义、人际意义和谋篇意义；（4）形式层面，词汇语法系统，视觉语法系统，听觉语法系统，触觉语法系统等（5）媒体层面，语言的和非语言43.0多模态话语综合框架初探如上所述，系统功能语言学为多模态话语分析提供了一个相对现成的理论框架。这就是说，在语境和交际层面和话语意义层面，单模态的语言交际和多模态话语交际并没有什么区别。李姆（Lim,2019）在研究图画与语言形成的多模态话语时提供了如下的框架。在这个框架中，语言和图画作为交际模态共有意识形态、体裁、语域和话语意义四个层面。在内容层面，图画具有视觉语法，而语言则有词汇语法；在表达层面，语言由印刷符号体现；图形由图形符号体现。在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，特别是在内容层面研究的任务最重。5图一：李姆的综合性多符号模式（Lim,2004）语言视觉图形印刷术图形学表达层面词汇语法整合空间视觉语法媒介与物质内容层面话语意义话语意义语域体裁语境层面意识形态6这个框架是对语言与图像所形成的多模态话语的分析框架，还不是一个对所有模态都适用的框架。但其基本思路是正确的：第一，他的层次的思想是正确的第二，不同的模态涉及由不同的媒体来体现第三，不同的模态需要整合在一起据此，我们根据韩礼德的系统功能语言学理论，和我们以上研究的结果，提出了如下的理论框架（见图二）。7图二：多模态话语分析综合框架意识形态文化层面文化语境体裁话语范围语境层面情景语境话语基调话语方式概念意义意义层面话语意义人际意义谋篇意义内容语言层形式图觉面声觉形式层面形式及感觉关系互补关系非互补伴语言语言纯语言表达层面媒体身体非语言非身体符号说明：表现关系决定关系体现关系8这个框架分为四个层面：文化层面、情景层面、内容层面和表达层面。文化层面是使多模态交际成为可能的关键层面。意识形态；体裁。语境层面：话语范围、话语基调、话语方式；实现所选择的体裁。话语意义层面，概念意义、人际意义和谋篇意义。形式层面：视觉语法、听觉语法、触觉语法等。94.0多模态话语的形式及其关系4.1多模态话语的形式媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义。由这种符号组成的符号系统通常没有能产性、没有任意性；二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双分性，由三个层次的代码组成（媒介、形式（词汇语法）和意义）。语言属于这一类。语言：词汇—语法图像：图符—图形语法音响：音符—声响语法接触：实体--感触语法104.2多模态话语形式之间的关系运用多模态的理由：一种模态不足以表达清楚交际者的意义，从而利用另一者来强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的。关系：互补vs非互补互补：强化（突出、主次、扩充）vs非强化（交叉、联合、协调）非互补：交叠（冗余、排斥、抵消）vs内包（部分、具体）vs语境交互（独立vs依赖）11图二：多模态话语形式及关系词汇语言语法图形形体视觉图形语法形式声响形体声觉多声响语法模感触形体态感觉话感触语法语突出形强化主次式扩充及互补交叉关非强化联合系协调冗余关系交叠排斥抵消整体部分非互补内包抽象具体独立语境交互依赖125.0多模态话语的媒体系统从多模态话语的角度，我们可以把媒体分为语言媒体和非语言媒体；3.1语言媒体传统媒体：主要两种，声波传导的声音符号和由笔、毛刷等生成的书写符号。其他媒体：随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入，计算机语音识别等，但最后的传播媒体仍然是声音或者字符。伴随语言的媒体形式：音响，声音的大小，音调，声音的频率，口音，口气等，以及字体形状、大小、空间的布局等。133.2非语言媒体交际者肢体动作和交际者在意义表达中所使用的其他非语言手段，如工具、环境等。1.交际者肢体的动作可以分为三个类别：一、由头部的移动形成的动作二、由手臂和腿形成的媒体符号三、躯干的动作，如移动、比划、模拟等。2.非肢体媒体：工具和环境：工具:音响设备，PPT，网络设备，到现在的网络平台，同声传译室等都是工具性媒体；环境:环境中已有的任何相关因素：人和物，有象征意义的符号等。14图一：多模态话语媒体系统音响音调伴语言字体语言布局声音多纯语言文字模动作（移动）态比拟话表情语肢体面容眼神媒五官体手势系肢体姿势统摇动非语言PPT音响扩放工具网络实验室非肢体同声翻译室环境156.0模态选择6.1模态选择程序对多模态话语理论框架进行选择的基本程序是：意义选择：在文化语境中，受意识形态的支配和体裁系统的制约，根据具体的情景语境，选择要表达的意义，包括概念意义、人际意义和谋篇意义；意义体现：所选择的意义要以合适的模态表达出来：即时的—口语；安静的—手势；同样，对多模态的选择也是受语境的制约的：噪音—声音+手势。16不同模态之间的相互配合问题：语义表达的需要；交际的需要。我们在选择中所要考虑的关键因素是在一定的情景中，如何选择合适模态来有效地表达所要传达的意义。模态与媒体基本上是形式和实体的关系。模态语法确定选择什么样的媒体。如视觉语法确定不同视觉媒体之间的相互配合。例如，课堂教学：熟悉的事物：语言讲解；不熟悉的事物：讲解+实物（图像等）。176.2模态选择主导因素在外语教学中，主导模态选择的基本因素是：话语范围：所教授的课程的内容，包括深度、难度；话语基调：老师的个人特点；学生的基本特点；交际目的，如传授知识、提高能力、提高素质等。话语方式：设备条件、教学环境、传播渠道等。教学目标：如是知识型的：讲解+实例：书本、PPT、口头讲授、回答问题等方式。18在这个教学模式中，要涉及模态内部媒体之间的协作，如书本与PPT：PPT通过色彩、光亮、突出的字体等来强调重点信息，而书本则可提供具体信息，补充PPT提供的框架中的具体信息。更重要的是视觉模态与听觉模态的协作。从形式上讲，每一种模态都可以是自足的，但只有多种模态协作才能收到更好的效果。这样从两种模态的关系上讲，听觉是主模态，主导交际的进程；而视觉模态则对听觉模态起主要两个作用：强化和补充。196.3模态选择的原则总体原则：充分利用现代媒体技术，最大限度地充分表达讲话者的意义，取得最佳效果，为更好地利用现代技术提供一个合适的理论框架。基本思路：人类交际中意义的体现具有多模态特点：在形式层面涉及不同模态的词汇语法系统之间的关系；形式层面由媒体来体现。现代媒体技术都主要是在媒体层面，所以充分利用好现代媒体技术是重要的研究课题。在多模态话语交际框架下，对模态的选择可以从三个角度进行：（1）为外语教学提供教学情景和便利条件（工具）；（2）为外语教学提供辅助条件（助手）；（3）为多模态话语交际提供多通道话语意义表达方式（补充）。206.3.1作为工具多媒体技术的发展实际上为提供尽可能真实的语境的提供了便利条件，可以提供图像、录像、声音，作为学习的实际环境。利用从真实交际场合中得到的录像材料作为：（1）学习材料，让学生了解和认识真实语境的实际情况，使获得的语境知识更加具体；（2）背景信息，让学生与录像中的交际者在录像提供的语境中进行交际。发展现代多媒体技术的一个最基本的理念是多模态交际可以使受话人通过多通道获得信息，比单模态话语更容易使受话者理解和记忆。如PPT:文字、语音、图形、图像、录像：视觉和听觉216.3.2.作为助手为教师提供条件，使他的工作容易进行；现代技术还可以从内部提供动力，使教师和学生从内心愿意从事这种活动，把外因转化为内因。第一，特殊的东西、大的东西、颜色艳丽或者浓的东西更能吸引人们的注意力，这就是突出，把事物前景化。例如，在教学中在PPT画面上用艺术体、黑体、大体字，可以使文字突出；在文字中加上图片可以更能引起学生的注意等。第二，美丽的东西、怪诞的东西、幽默的东西更能引起人们的兴趣，提高学生的参与度，所以，在教学中，用现代技术提供美丽的图片，幽默的简笔画，美丽的环境介绍可以使学生积极参与，注意力集中。第三，有挑战性的环境，或对抗的环境，或者幽默的环境，可以激发人们参与的热情，如提供一些有一定难度的破解题，谜题；描述一个对抗的语境；或者提供一项交际任务等。226.3.3.作为补充模态的选择要以增加正效应为原则，具体可以包括：互相强化、互相协调、前景背景、整体部分（抽象具体）等关系。1.强化关系用PPT显示句子“Peterwaskilledinatrafficaccident”,并可同时读出这个句子，在PPT画面上配上皮特发生车祸的照片，或者放一段发生车祸的录像片，配上发生车祸是的声音等。2.协调关系协调关系是利用多模态之间的协调性，就是还原人类社会交际的本来面目，即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例如，在讲包括下面一个对话的故事时，如果没有图画，我们会不知所云：[1]BigNutbrownHare,“IloveyouashighasIcanreach.”LittleNutbrownHare,“Thatisquitehigh.IwishIhadarmslikethat.”但是如果我们配上图画就很容易了，而且还很幽默。23243.前景背景关系第三种选择多模态教学的依据是语言交际中的前景和背景的关系。在外语教学中，语言交际显然都是处在前景中，由其他模态提供背景。例如，在戏剧的开始，首先出现一个布景，提供事件发生的时间、地点、环境，还可以包括人物等。4.整体部分（抽象具体）关系在多媒体时代，教师可以通过选择合适的媒体来提供具体的信息，从而使学生能更清楚地理解所教的内容。例如，当你教授一种新奇的动物或者植物时，你一般首先提供名称，然后做些简单的讲解。学生仍然不知所云。但如果提供一个照片，如果条件允许的话，提供一段有关这种动物或者植物的录像，会使学生一目了然。256.3.4多模态选择的目标从经济的角度讲，使用单模态要比用多模态要简单、省力，所以使用多模态进行交际必然要有一定的理由，组成这些理由的最主要因素是使用多模态的所要取得的效果或者目标；形成多模态选择的动因可以总结为一下几个方面：261.补缺，一种模态不足以表达意义，或不能使听话者理解意义，用另一种来补充剩余的意义，即一种模态只能体现要表达的部分