1015综述-言语听觉反馈的研究范式和进展-徐以中20151225

1doi:10.3969/j.issn.1672-4933.2015.06.000基金项目：国家973计划课题(2014CB340502)、江苏省社会科学基金（15YYB002）、中央高校基本科研业务费专项资金(NR2015014)作者单位：1南京航空航天大学外国语学院南京2111062江苏师范大学语言科学学院江苏徐州221009作者简介：徐以中博士教授;研究方向：心理语言学胡伟博士;研究方向：神经语言学通讯作者：杨亦鸣，E-mail:[e-mail]#并列第一作者言语听觉反馈的研究范式和进展TheExperimentalParadigmandAdvancesintheSpeechAuditoryFeedbackResearch徐以中1#胡伟2#杨亦鸣2XUYi--zhong,HU--wei,YANGYi--ming,【摘要】言语听觉反馈的重要性体现在帮助获得语言知识的内部表征以及对言语活动的在线控制。本文对国际上听觉反馈的3种实验范式（DAF、FAF、Lombard）进行概述和阐释，以期为听觉反馈理论研究、语言信息处理以及临床应用提供参考。未来的研究可在实验刺激参数的选择、语料和语言的对比以及实验和建模的互动上取得突破。【关键词】听觉反馈；言语感知；言语产生【Abstract】Speechauditoryfeedbackplaysanessentialroleintheacquisitionofinternalrepresentationoflanguageandtheonlinecontrolofspeechactivity.Thispapersummarizedthethreeexperimentalparadigms(DAF,FAF,Lombard),whichaimstogiveaninsightintothestudyofauditoryfeedbacktheory,languageinformationprocessingandclinicalapplication.Furthermore,thepaperpointsoutfortheongoingdevelopmentitcouldbepossibletomakeabreakthroughinthechoiceoftheexperimentstimuliparameters,thecomparisonofthecorpusandlanguages,andtheinteractionbetweentheexperimentandthecomputationalmodeling.【KeyWords】Auditoryfeedback;Speechperception;Speechproduction1听觉反馈的作用和研究意义言语科学是研究言语的产生（production）、传递（transmission）和感知（speechperception）的科学。过去的研究多集中于其某一方面而较少关注彼此间的互动[1]。听觉反馈现象则反映了言语感知和产生之间的互动。言语听觉反馈是指说话人在说话的同时对自己声音的监控。听觉反馈的第一个主要作用是帮助获得语言知识的内部表征，正常儿童都是通过“听”来逐渐习得语言；在一项适应性实验中，让被试发B音时，如果通过反馈控制让其听到的是B’音，那么被试会对B’音渐渐适应。此后即使听觉反馈恢复正常，被试也不会把B发成B音，而会把B音发成T音，这个T音中包含B’音特征[2]）。可见听觉反馈有助获得语言的内部表征。听觉反馈的第二个主要作用是对言语产生进行在线控制[3]。这个功能很早就在延时听觉反馈（delayedauditoryfeedback,DAF）实验中得到证实[4]。DAF实验揭示，当说话人的声音传到自己听觉系统过程中发生延迟，譬如延迟50毫秒、200毫秒、400毫秒，此时说话人的话语就会出现类似口2吃的不流利现象（已有研究表明延时200毫秒左右非流利性最显著）。可见听觉反馈在保证言语输出流利性上起重要作用。听觉反馈的这两种作用在个体语言发展的不同阶段其地位是不一样的，在早期语言习得阶段，其作用主要在于获得语言的内部表征；在后期语言运用阶段，听觉反馈主要发挥对言语在线控制功能[5]。听觉反馈研究尤其是DAF研究自上世纪50年代起在西方就已经引起许多研究者的重视。目前国际上一些大学或机构均设立专门研究语音听觉反馈的实验室，如美国西北大学、日本北海道大学和日本国际电气通信基础技术研究所（AdvancedTelecommunicationsResearchInstituteInternational,ATR），而国内在这方面显然重视不够。以往的研究虽然在一定程度上揭示出言语“感知－运动”的规律，但人脑是个相当复杂的系统，在言语习得和言语运用过程中，反馈的本质是什么，反馈与感知之间是如何配合完成任务的？这些问题并未达成一致意见[6]。听觉反馈研究具有以下三方面重要意义。首先，对全面阐明人类的语言能力有直接帮助。广义语言能力包括感觉－运动系统、概念－意图系统和递归计算系统[7]。从内容上看，言语听觉反馈主要探讨言语感知和产生之间的关系，它也就自然成为“感知－运动”系统研究的一个重要组成部分。因此，听觉反馈研究直接指向阐释人类语言能力的宏伟目标。其次，有助于推进自然语言理解和人机对话研究。自然语言处理（NaturalLanguageProcessing,NLP）的研究重点是语音识别和语音合成，实际上，若要真正实现人与机器间通过自然语言进行对话，单纯研究语音识别或语音合成是不充分的，还需注重言语听觉反馈研究。最后，在临床上听觉反馈可用于真聋与伪聋鉴别以及口吃者的康复治疗。2听觉反馈的内涵及研究方法2.1听觉反馈内涵听觉反馈系统一直在监控说话人自己的言语行为，这种监控通常是自动和无意识的。反馈的传导路径有两种：一种是体外路径，即通过空气传导的反馈（air-conductedfeedback）；一种是体内路径，即通过骨骼等传导的反馈（bone-conductedfeedback），后者通常被称为体觉反馈（Somatosensoryfeedback）[8,9]）。除对自己声音进行适时监控外，反馈系统也会对外界声音以及其它各种情况进行监控。本文讨论的反馈除非另外说明，均指在体外通过空气传导的对自己声音的反馈。听觉反馈的对象、传导路径和作用归纳见表1。表1听觉反馈对象、路线和作用反馈对象反馈路线反馈作用自己的声音体外路线（空气传导）言语产生的在线控制别人及其它外界声音体内路线（骨骼等传导）语言纸质的内部表征2.2研究思路和实验框架通过正常的言语交际，我们很难判断听觉反馈系统的具体工作原理。就像一台机器，当它运转良好时很难判断哪个部件执行怎样特定的功能。但当机器的某个部件或连接通路被改变时，我们可以通过改变后的运行表现推测某一部件的具体功能。研究听觉反馈系统的原理与此类似，当反馈到耳朵里的声音被延迟或基频（F0）被提高或降低时（或其它方式改变），说话人话语的声学特征也会发生相应变化。这类实验可统3称为变换听觉反馈实验（transformedauditoryfeedback,TAF）[10]）。TAF实验所采用的实验装置如图1所示。实验通常包括录音装置、听觉反馈改变装置和噪声掩蔽装置3个组成部分。其中录音装置用来录制说话者的声音，包括话筒、放大器、录音设备等；听觉反馈改变装置是指电脑控制的用来改变语声的设备，包括电脑、声音放大器、音乐设备数字接口（MIDI）、效果器等；噪声掩蔽装置通常是指采用粉红噪声掩蔽骨传导效应。图1TAF实验流程框架[11]在变换听觉反馈（TAF）实验中，对声音的改变方式以及记录和考察参数的不同成为区别不同实验的两个重要指标。因此有必要对它们进行系统的概括和总结。通过综合Junqua[12],JonesandMunhall[5],SkowronskiandHarris[13]等研究，变换听觉反馈（TAF）实验中改变参数、记录参数归纳为表2。表2听觉反馈研究改变和记录参数变换参数(TransformedParameters)记录参数(recordableoutput)原始参数（controls）音高上升或下降音高/基频实验中对照（控制）条件下的数据时间延迟言语速度或反应潜伏期音高上升或下降的速度音高是上升或下降的速度音强变化音强变化单词速度单词速度共振峰元音或共振峰锯齿波音高变化噪声主要为音强、基频、共振峰等2.3实验范式根据实验中给予被试反馈声音刺激材料的不同性质，目前听觉反馈研究已形成3种实验范式，分别是延时听觉反馈实验、变频听觉反馈实验和噪声听觉反馈实验[12,14]。延时听觉反馈主要是基于音长的实验设计；变频听觉反馈主要是基于音高的设计；在噪声听觉反馈实验中，音强是设计的关键因素。可见，这3个实验模式分别是着眼于声音的音长、音高和音强3个物理特性进行设计。2.3.1延时听觉反馈（delayedauditoryfeedback,DAF）延时听觉反馈实验的原理是采用一定的设备使说话人的声音在传到听感系统时,在时间上有所延迟借此考察说话人的言语声学参数变化。该实验可假定通过设备控制使得发音人收到的反馈声音延迟，其实这只是声4波的体外路线（空气传导）的反馈被延迟。由于传导的速度不同，体外的路线和体内的生理路线就会形成冲突。比如，声波的内部反馈路线以及生理路线的反馈都告诉大脑说已经到达第五个音段，可是声波外部反馈路线，因为被控制加以延迟，告诉大脑说只到了第3个音段。这样说话人通常就会觉得说话困难，产生类似口吃的言语不流利现象，原因在于反馈的关系被搅乱了[15]。临床上，若采用相关设备使口吃者反馈延迟，其口吃现象会得到显著改善。研究表明，这是因为口吃者的言语加工存在异常的时间激活模式，这种异常的时间激活模式可能与听觉反馈系统的在线监控异常有关，而改变听觉反馈的措施可能通过提供一个外在的时间线索减轻了口吃者的听觉缺陷，从而改善了口吃者言语加工的激活模式[16,17]。2.3.2变频听觉反馈（frequency-alteredauditoryfeedback,FAF）声音大都是由许多频率不同的纯音构成的复合波，其中频率最低的那个纯音叫基音，其它叫陪音。言语声波属于复合波，复合波的一个重要特性是它的最低频率（基频，F0）决定整个声波的频率。根据这个特点，研究者通过特定的设备使反馈的言语波的频率上升或下降，或者在反馈中改变言语波的共振峰，如F1、F2等，进而观察这些改变对言语产生的影响[2]）。这类实验被统称为变频听觉反馈实验（FAF），也有学者称之为移频听觉反馈实验（frequency-shiftedauditoryfeedback）。结果显示，FAF也能提高口吃者的言语流利性。2.3.3噪声听觉反馈（lombardexperiment）噪声不仅对感知他人的言语有影响，对一个人自己的言语产生亦有影响。一般情况下，当环境噪声加大时，说话人由于受生理和心理的影响，其语音声学特征会发生变异，如音强加大等。这一现象首次由法国医生EtienneLombard在1911年发现并加以描述，此后这种现象被称为Lombard效应[18]。因此，通常所说的Lombard实验与噪声听觉反馈实验意义相当。仍需指出的是，噪声听觉反馈研究和噪声中语音识别研究的侧重点不同。前者主要关注在反馈的言语中增加噪声，观测其对言语产生的影响，后者则主要关注如何在噪声条件下提高语音识别的效果和效率。3听觉反馈研究的国际进展在国际上，听觉反馈的早期成分和晚期成分、听觉反馈的神经心理基础及计算建模等问题是学者们研究的重点。3.1听觉反馈的早期成分和晚期成分当反馈音的基频上升或下降时，说话人言语的基频也会发生变化。在反馈音基频变化持续时间超过500毫秒时，说话人的基频会出现两种反应。依据反应发生时间先后，分别叫早期成分和晚期成分，或简称为发声反应1（VR1,vocalresponse1）和发声反应2（VR2,vocalresponse2）。VR1的潜伏期为100～15