面部表情和隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞

習(xí)得的影響

王興隆 亢世勇

魯東大學(xué)

摘 要

基于一項(xiàng)實(shí)驗(yàn)，本文集中研究了面部表情和隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響。結(jié)果顯示：1) 有伴語(yǔ)模態(tài) (面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)) 的整體促學(xué)效果顯著優(yōu)于無(wú)伴語(yǔ)模態(tài)；2) 面部表情+隱喻性手勢(shì)、面部表情的促學(xué)效果均顯著優(yōu)于隱喻性手勢(shì)， 但前二者之間并無(wú)明顯差距；3) 情緒效價(jià)可以調(diào)控面部表情、面部表情+隱喻性手勢(shì)的促學(xué)表現(xiàn)。相較于積極效價(jià)詞，目標(biāo)詞為消極效價(jià)詞時(shí)，面部表情、面部表情+隱喻性手勢(shì)的促學(xué)效果更優(yōu)。論文最后從語(yǔ)義加工-具身情緒體驗(yàn)關(guān)系、多感官統(tǒng)合理論、“注意”機(jī)制、情緒效價(jià)的偏向觀及激活模式等方面進(jìn)行了討論。

1.引言

人類主要通過(guò)情緒詞來(lái)表征、傳遞語(yǔ)言中的情緒信息(Hinojosa et al. 2020)。情緒詞包括情緒標(biāo)簽詞(emotion-label words)與情緒負(fù)載詞(emotion-laden words)(Pavlenko 2008)。情緒負(fù)載詞一般通過(guò)連接相應(yīng)的情緒標(biāo)簽詞來(lái)引發(fā)情緒效應(yīng)(Altarriba & Basnight-Brown 2011)。例如，理解情緒負(fù)載詞“掛科”“表?yè)P(yáng)”，個(gè)體首先會(huì)聯(lián)想到相應(yīng)的具身經(jīng)歷或概念體驗(yàn)，然后介引出“失落”“高興”等情緒標(biāo)簽詞。不過(guò)，以往研究多聚焦于一語(yǔ)/二語(yǔ)情緒標(biāo)簽詞或籠統(tǒng)意義上的情緒詞(Wang et al. 2019)，對(duì)二語(yǔ)情緒負(fù)載詞的集中關(guān)注較少，因此，有必要專門對(duì)其進(jìn)行深入研究。另一方面，人類在言語(yǔ)過(guò)程中經(jīng)常會(huì)伴隨一些面部表情及手勢(shì)，也對(duì)他人的伴語(yǔ)(co-speech)面部表情及手勢(shì)特別敏感(Kretetal. 2013)，二者往往一起出現(xiàn)，互相協(xié)同，如悲傷表情通常伴隨以手掩面手勢(shì)，憤怒表情則一般伴隨握緊拳頭。近年以來(lái)，面部表情及手勢(shì)等伴語(yǔ)模態(tài)日益受到二語(yǔ)學(xué)界的重視，逐漸成為前沿課題，相關(guān)問(wèn)題也亟需進(jìn)一步探究。

2.文獻(xiàn)綜述

2.1二語(yǔ)情緒負(fù)載詞相關(guān)研究

早先，情緒詞研究主要聚集于一語(yǔ)/母語(yǔ)情緒負(fù)載詞與情緒標(biāo)簽詞的情緒激活(emotional arousal)和加工機(jī)制。近年來(lái)的研究開(kāi)始從一語(yǔ)轉(zhuǎn)向二語(yǔ)，如黃月等(2023)一些學(xué)者分別探索了情緒效價(jià)、內(nèi)感受對(duì)二語(yǔ)情緒詞加工的影響，但這些研究多屬于二語(yǔ)詞匯認(rèn)知加工實(shí)驗(yàn)，而非二語(yǔ)詞匯習(xí)得范疇，前者目標(biāo)詞為熟詞，后者則是陌生詞，二者的任務(wù)與機(jī)制也有較大差異。可見(jiàn)，目前學(xué)界仍鮮有二語(yǔ)情緒詞習(xí)得方面的研究，此方面的探索亟需展開(kāi)。Winskel(2013)曾采用經(jīng)典的情緒Stroop范式考察了雙語(yǔ)者對(duì)泰語(yǔ)、英語(yǔ)(母語(yǔ))情緒負(fù)載詞的加工，發(fā)現(xiàn)只有母語(yǔ)詞的顏色反應(yīng)受到了情緒干擾，二語(yǔ)詞并沒(méi)有，這反映了二語(yǔ)情緒負(fù)載詞的情緒激活機(jī)制更復(fù)雜，激活難度更大。此外，與情緒標(biāo)簽詞不同，情緒負(fù)載詞中的情緒信息雖然是詞義信息的一部分，但卻是“內(nèi)隱”的，它并不構(gòu)成詞義的外顯內(nèi)容，所以，進(jìn)一步探尋二語(yǔ)情緒負(fù)載詞習(xí)得的機(jī)制與規(guī)律，既有必要，也更有意義。近年來(lái)的研究發(fā)現(xiàn)，教學(xué)者的面部表情、手勢(shì)與口語(yǔ)可共同促成二語(yǔ)學(xué)習(xí)者的視聽(tīng)多模態(tài)輸入通道(李琳 2022;馬賽等 2022)，由于伴語(yǔ)面部表情、手勢(shì)(尤其是隱喻性手勢(shì))可能自帶情緒效價(jià)，這對(duì)激活情緒負(fù)載詞的情緒信息有一定幫助，由此，二者可能會(huì)對(duì)提高二語(yǔ)情緒負(fù)載詞習(xí)得效果發(fā)揮積極作用，這是將來(lái)值得關(guān)注的一個(gè)研究進(jìn)路。

2.2伴語(yǔ)面部表情相關(guān)研究

伴語(yǔ)面部表情的早期研究集中于認(rèn)知實(shí)驗(yàn)領(lǐng)域，如Meerenetal.(2005)發(fā)現(xiàn)，微笑、沮喪的面部表情能夠分別激活受試的積極、消極情緒。后續(xù)研究發(fā)現(xiàn)，這種激活效應(yīng)是雙向的，例如，Niedenthal et al. (2009)基于肌電掃描儀的研究發(fā)現(xiàn)，當(dāng)分別呈現(xiàn)積極、消極情緒標(biāo)簽詞時(shí)，受試面部肌肉也相應(yīng)呈現(xiàn)出喜悅、厭惡表情。接著，這項(xiàng)研究被拓展、應(yīng)用到詞匯語(yǔ)義加工范疇，如Havas et al. (2010)的實(shí)驗(yàn)顯示，積極(喜悅)、消極(皺眉)的面部肌肉活動(dòng)可分別促進(jìn)積極、消極情緒標(biāo)簽詞的語(yǔ)義加工，這說(shuō)明，伴語(yǔ)面部表情與情緒標(biāo)簽詞語(yǔ)義加工具有效價(jià)一致性效應(yīng)(Huerta-Chavez & Ramos-Loyo 2024)。但上述研究多屬于一語(yǔ)/母語(yǔ)詞匯認(rèn)知或語(yǔ)義加工實(shí)驗(yàn)，并非二語(yǔ)詞匯習(xí)得范疇，并且，其實(shí)驗(yàn)?zāi)繕?biāo)詞多為情緒標(biāo)簽詞，鮮有涉及情緒負(fù)載詞的研究。因此，伴語(yǔ)面部表情對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得是否也具有積極影響呢？目前該問(wèn)題尚缺乏明確解答，相關(guān)研究仍需進(jìn)一步展開(kāi)。

2.3伴語(yǔ)手勢(shì)相關(guān)研究

伴語(yǔ)手勢(shì)主要包括標(biāo)志性手勢(shì)與隱喻性手勢(shì)。整體來(lái)看，已有研究在標(biāo)志性手勢(shì)的二語(yǔ)具體詞習(xí)得效應(yīng)、隱喻性手勢(shì)的二語(yǔ)抽象詞習(xí)得效應(yīng)方面取得了豐碩成果，但在二語(yǔ)情緒詞習(xí)得方面卻鮮有涉及。標(biāo)志性手勢(shì)主要對(duì)具體詞進(jìn)行象似性模擬，大量實(shí)驗(yàn)證明了其在二語(yǔ)具體詞促學(xué)方面的優(yōu)異表現(xiàn)。如 García-Gámez & Macizo (2023)的西班牙語(yǔ)二語(yǔ)詞匯習(xí)得實(shí)驗(yàn)顯示，無(wú)論是“看”教師的手勢(shì)還是親自“做”手勢(shì)，標(biāo)志性手勢(shì)的促學(xué)表現(xiàn)均顯著優(yōu)于無(wú)手勢(shì)。隱 喻性手勢(shì)一般通過(guò)手勢(shì)(喻體)與抽象詞(本體)建立映射關(guān)聯(lián)。同樣，很多二語(yǔ) 詞匯習(xí)得實(shí)驗(yàn)也支持了隱喻性手勢(shì)的促學(xué)性。例如，Repetto et al. (2017)發(fā)現(xiàn)伴隨隱喻性手勢(shì)的二語(yǔ)抽象詞習(xí)得效果甚至優(yōu)于圖片促學(xué)。遺憾的是以上研究極少涉及二語(yǔ)情緒詞。不同于普通詞，情緒詞一般含有積極/消極情緒信息或效價(jià)，進(jìn)而，同一隱喻性手勢(shì)(以消極效價(jià)為例)既可以指向情緒詞的詞義內(nèi)容(He is so unhappy today/伴隨手臂、手掌遠(yuǎn)離自己)，也可指向其情緒效價(jià)(I fail a course/伴隨手臂、手掌遠(yuǎn)離自己)。不過(guò)，由于情緒標(biāo)簽詞的詞義內(nèi)容本身就是 情緒信息，情緒負(fù)載詞則通過(guò)詞義激活其所負(fù)載的情緒效價(jià)，所以，如果將隱喻 性手勢(shì)作為情緒標(biāo)簽詞的伴語(yǔ)形式，可能會(huì)引發(fā)機(jī)械性詞義猜測(cè)效應(yīng)，從而不利于更加完整、科學(xué)地考察手勢(shì)促學(xué)效應(yīng)。因此，專門探究隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞的影響就顯得更為必要。

2.4伴語(yǔ)面部表情和伴語(yǔ)手勢(shì)的對(duì)比研究

也有研究聚焦于伴語(yǔ)面部表情和手勢(shì)在情緒信息識(shí)別方面的重要性對(duì)比。例如，Hietanen & Lepp?nen (2008)證實(shí)了手勢(shì)對(duì)情緒信息識(shí)別的重要作用，Aviezer et al. (2012)認(rèn)為面部表情才是情緒信息識(shí)別的主體?？佃F君等(2022)則認(rèn)為二者的有效協(xié)同才能更好地傳遞情緒信息。不過(guò)，這些研究多屬一語(yǔ)/母語(yǔ)認(rèn)知加工實(shí)驗(yàn)。目前，還鮮有伴語(yǔ)面部表情、手勢(shì)、面部表情+手勢(shì)三者之間的二語(yǔ)情緒負(fù)載詞促學(xué)效應(yīng)對(duì)比研究，該研究能夠有效探明面部表情和手勢(shì)的個(gè)性化特征及各自優(yōu)勢(shì)，從而有助于進(jìn)一步提高二語(yǔ)情緒負(fù)載詞習(xí)得效率。

綜上所述，本文擬以中國(guó)英語(yǔ)二語(yǔ)學(xué)習(xí)者為受試，集中研究伴語(yǔ)面部表情及隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響。對(duì)此，除了考察面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得影響的對(duì)比情況，還將加入無(wú)伴語(yǔ)模態(tài)條件，以便于探究三者整體上對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響。此外，二語(yǔ)情緒負(fù)載詞擁有不同效價(jià)時(shí)，三者對(duì)其習(xí)得的影響是否有差異呢？該問(wèn)題也需一并驗(yàn)證。

3.研究實(shí)驗(yàn)

3.1研究問(wèn)題

本研究擬回答以下三個(gè)問(wèn)題：1)有伴語(yǔ)模態(tài)(面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì))和無(wú)伴語(yǔ)模態(tài)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響整體上有何差異？2) 面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響分別有何差異？3)目標(biāo)詞情緒效價(jià)是否調(diào)控面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響？

本實(shí)驗(yàn)采用4(學(xué)習(xí)方式)×2(情緒效價(jià))兩因素混合實(shí)驗(yàn)設(shè)計(jì)，學(xué)習(xí)方式為組間自變量，共有四個(gè)水平：面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)、無(wú)伴語(yǔ)模態(tài)。目標(biāo)詞情緒效價(jià)為組內(nèi)自變量，共有兩個(gè)水平：積極效價(jià)、消極效價(jià)。因變量為詞語(yǔ)回憶正確率、詞義識(shí)別正確率及反應(yīng)時(shí)。

3.2受試

受試為130名中國(guó)英語(yǔ)學(xué)習(xí)者，平均年齡20.8歲，視力或矯正視力正常，學(xué)習(xí)英語(yǔ)的平均時(shí)間為11.3年，均已通過(guò)英語(yǔ)四級(jí)。他們被分為五個(gè)小組，每組26人，然后接受了滿分為60分的牛津快速分級(jí)測(cè)試(Quick Placement Test)，評(píng)分之后，分別去掉得分最高、最低的15人，然后對(duì)剩余的100份成績(jī)進(jìn)行方差分析(Analysis of Variance)，發(fā)現(xiàn)五個(gè)小組之間的分?jǐn)?shù)并無(wú)顯著差異，F(xiàn)(4，95)=0.462，p=0.763。隨機(jī)選擇四個(gè)小組的80人參加正式實(shí)驗(yàn)，另一小組的20人作為同等水平非實(shí)驗(yàn)人員參與實(shí)驗(yàn)材料審查等任務(wù)。

3.3實(shí)驗(yàn)材料

從《牛津高階英漢雙解詞典》(第八版)中選出30個(gè)(積極、消極詞各15個(gè))較為生僻的英語(yǔ)情緒負(fù)載詞，選擇標(biāo)準(zhǔn)主要參考了Pavlenko (2008)、Altarriba & Basnight-Brown (2011)對(duì)情緒負(fù)載詞的界定。請(qǐng)同等水平非實(shí)驗(yàn)人員辨認(rèn)并替換熟悉詞，接著請(qǐng)他們進(jìn)行熟悉度評(píng)分(1為非常陌生，7為非常熟悉)、效價(jià)(1為非常消極，9為非常積極)評(píng)分及喚醒度1(1為非常弱，9為非常強(qiáng))評(píng)分。獨(dú)立樣本t檢驗(yàn)發(fā)現(xiàn)，積極、消極效價(jià)詞之間的熟悉度、喚醒度差異并不顯著(p>0.05)，效價(jià)差異極其顯著(p<0.001)。從英語(yǔ)國(guó)家語(yǔ)料庫(kù)(https://www.english-corpora.org/bnc/)中獲取詞頻數(shù)據(jù)，對(duì)兩組詞匯的詞長(zhǎng)(字母數(shù))、音節(jié)數(shù)和詞頻(每百萬(wàn))進(jìn)行統(tǒng)計(jì)、檢驗(yàn)，發(fā)現(xiàn)以上各項(xiàng)均無(wú)顯著差異(p>0.05)。最終確定了30個(gè)英語(yǔ)目標(biāo)詞：積極效價(jià)詞為idyllize, furbish, soothe, vivify, nurture, effulge, savor, rectify, jasper, plenitude, faerie, nectar, erudition, paragon, euphony。消極效價(jià)詞為enslave, lacerate, traduce, falsify, desecrate, wither, extort, inveigle, sewage, mayhem, fetor, acedia, miscreant, sleaze, tsunami。兩組詞中動(dòng)、名詞的比例一致，且均配備了通俗易懂的漢語(yǔ)譯詞。目標(biāo)詞屬性見(jiàn)表1。

根據(jù)進(jìn)化心理學(xué)中的“趨利避害”觀，人類“手臂伸直或彎曲會(huì)自動(dòng)傳遞危險(xiǎn)或安全的信號(hào)”(Friedman & F?rster 2000)，二者分別代表“推開(kāi)”與“接納”身外之物，進(jìn)而演化出“靠近自己-積極效價(jià)”和“遠(yuǎn)離自己-消極效價(jià)”的隱喻性手勢(shì) (康鐵君等 2022)。本實(shí)驗(yàn)隱喻性手勢(shì)的操作即遵此進(jìn)行。教學(xué)刺激材料均為呈現(xiàn)在電腦屏幕上的目標(biāo)詞、漢語(yǔ)譯詞及持續(xù) 10s 的教學(xué)視頻。視頻截圖參看圖 1(每組圖左為積極效價(jià)詞，右為消極效價(jià)詞)，具體程序參看 3.4。視頻內(nèi)容為：1)面部表情組包括勻速的目標(biāo)詞、譯詞口語(yǔ)發(fā)音，同時(shí)伴隨根據(jù)目標(biāo)詞情緒效價(jià)所流露出的喜悅 (積極)、沮喪 (消極) 面部表情。每個(gè)目標(biāo)詞重復(fù)兩次 (下同)；2) 隱喻性手勢(shì)組包括勻速的目標(biāo)詞、譯詞口語(yǔ)發(fā)音，同時(shí)伴隨根據(jù)情緒效價(jià)所演示的手臂趨近身體 (積極)、遠(yuǎn)離身體 (消極) 動(dòng)作；3) 面部表情+隱喻性手勢(shì)組疊加以上兩組程序；4) 無(wú)伴語(yǔ)模態(tài)組只包括勻速的目標(biāo)詞、譯詞口語(yǔ)發(fā)音。3 名國(guó)際中文教師及 20 名同等水平非實(shí)驗(yàn)人員對(duì)各組手勢(shì)、表情等的一致性、區(qū)分度進(jìn)行了把控，如存在誤解或干擾可能，則對(duì)教學(xué)視頻進(jìn)行重新錄制，直到他們一致確認(rèn)了視頻內(nèi)容的規(guī)范性與合理性。

3.4 實(shí)驗(yàn)程序

本研究參考了 Repetto et al. (2017) 的實(shí)驗(yàn)程序。教學(xué)刺激環(huán)節(jié)基于 E-prime 2.0 進(jìn)行，實(shí)驗(yàn)前，主試講解實(shí)驗(yàn)流程，并提供 5 個(gè)非目標(biāo)詞練習(xí)試次。實(shí)驗(yàn)時(shí)，受試端坐在距離電腦屏幕前 50cm 位置，首先，屏幕中央呈現(xiàn)一個(gè)“+”注視點(diǎn)，800ms 后消失，然后分別呈現(xiàn)相應(yīng)刺激畫(huà)面。每個(gè)小組共呈現(xiàn) 30 個(gè)畫(huà)面，每個(gè)畫(huà)面持續(xù) 10s，目標(biāo)詞 (紅色) 在屏幕左上角，譯詞 (黑色) 在屏幕右上角，教學(xué)視頻置于屏幕中間靠下位置。畫(huà)面切換前屏幕中央呈現(xiàn)一個(gè) 1000s 的“+”注視點(diǎn)。

教學(xué)刺激材料呈現(xiàn)時(shí)，受試的任務(wù)是理解、識(shí)記目標(biāo)詞。面部表情組須聆聽(tīng)目標(biāo)詞與譯詞的口語(yǔ)發(fā)音并認(rèn)真觀察、體會(huì)教師的面部表情，隱喻性手勢(shì)組須聆聽(tīng)目標(biāo)詞與譯詞的口語(yǔ)發(fā)音并認(rèn)真觀察、理解教師的隱喻性手勢(shì)，面部表情+隱喻性手勢(shì)組須同時(shí)執(zhí)行上述兩項(xiàng)任務(wù)，無(wú)伴語(yǔ)模態(tài)組須聆聽(tīng)目標(biāo)詞、譯詞的口語(yǔ)發(fā)音。教學(xué)刺激持續(xù)約 6 分鐘，共三輪，兩輪在上午 (隔 5 分鐘)，另一輪在下午。為避免順序效應(yīng)，每輪目標(biāo)詞呈現(xiàn)順序已隨機(jī)調(diào)整。

教學(xué)刺激環(huán)節(jié)完成后，休息 15 分鐘，接著進(jìn)行詞語(yǔ)回憶、詞義識(shí)別測(cè)試，詞語(yǔ)回憶任務(wù)要求受試在 10 分鐘內(nèi)盡可能多地寫(xiě)出目標(biāo)詞，每個(gè) 1 分，共 30 分。詞義識(shí)別任務(wù)要求受試從屏幕左上角、右上角的兩個(gè)備選翻譯詞 (黑色) 中通過(guò)按鍵 (Q 或 P) 選出目標(biāo)詞的正確詞義，目標(biāo)詞置于屏幕中央 (紅色)，正確答案位置已進(jìn)行平衡。為避免機(jī)械記憶效應(yīng)，備選項(xiàng)譯詞是與教學(xué)譯詞不同的另一同義詞，它們均為經(jīng)過(guò)熟悉度確認(rèn)的常見(jiàn)詞。

4. 實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)的整理、統(tǒng)計(jì)，可得出表 2、表 3、表 4 的描述性統(tǒng)計(jì)結(jié)果。剔 除反應(yīng)時(shí)大于2.5 倍標(biāo)準(zhǔn)的極端反應(yīng)試次 ( 剔除率小于 5%)，采 用SPSS22.0 對(duì)詞語(yǔ)回憶分值、詞義識(shí)別正確率及反應(yīng)時(shí)數(shù)據(jù)進(jìn)行 4 (學(xué)習(xí)方式) ×2 (情緒效價(jià)) 的兩因素方差分析。

4.1 有伴語(yǔ)模態(tài)組和無(wú)伴語(yǔ)模態(tài)組的表現(xiàn)

1) 詞語(yǔ)回憶分值方面。將各有伴語(yǔ)模態(tài)組 (面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)) 的成績(jī)進(jìn)行整合，形成整體平均分，然后與無(wú)伴語(yǔ)模態(tài)組進(jìn)行獨(dú)立樣本 t 檢驗(yàn)，結(jié)果顯示 t = 5.957，p < 0.0005，各組整體平均分明顯高于無(wú)伴語(yǔ)模態(tài)組；2) 詞義識(shí)別正確率方面。將各有伴語(yǔ)模態(tài)組的整體平均數(shù)據(jù)與無(wú)伴語(yǔ)模態(tài)組進(jìn)行獨(dú)立樣本 t 檢驗(yàn)，結(jié)果顯示 t = 14.403，p < 0.0005，前者正確率明顯高于后者；3) 詞義識(shí)別反應(yīng)時(shí)方面。將各有伴語(yǔ)模態(tài)組的整體平均數(shù)據(jù)與無(wú)伴語(yǔ)模態(tài)組數(shù)據(jù)進(jìn)行獨(dú)立樣本 t 檢驗(yàn)，結(jié)果顯示 t = -3.555，p < 0.05，前者反應(yīng)時(shí)明顯短于后者。這表明，有伴語(yǔ)模態(tài)的整體表現(xiàn)顯著優(yōu)于無(wú)伴語(yǔ)模態(tài)。

4.2 面部表情組、隱喻性手勢(shì)組、面部表情+隱喻性手勢(shì)組的表現(xiàn)

1) 詞語(yǔ)回憶分值方面。學(xué)習(xí)方式的主效應(yīng)顯著，F(xiàn)(3,152) = 13.036，p <0.0005。事后多重比較發(fā)現(xiàn)，面部表情+隱喻性手勢(shì)組、面部表情組的得分均顯著高于隱喻性手勢(shì)組，且前兩組之間并無(wú)顯著差距；2) 詞義識(shí)別正確率方面。學(xué)習(xí)方式的主效應(yīng)顯著 2， F(3,140) = 76.329，p < 0.0005。事后多重比較發(fā)現(xiàn)，面部表情+隱喻性手勢(shì)組、面部表情組及隱喻性手勢(shì)組的正確率之間并無(wú)顯著差距(ps > 0.05)；3) 詞義識(shí)別反應(yīng)時(shí)方面。學(xué)習(xí)方式的主效應(yīng)顯著， F(3,140) = 11.189，p < 0.0005，事后多重比較發(fā)現(xiàn)，面部表情+隱喻性手勢(shì)組與面部表情組的反應(yīng)時(shí)明顯最短，二者無(wú)顯著差距 (p > 0.05)，且均明顯 (p < 0.05)短于隱喻性手勢(shì)組。這表明，面部表情+隱喻性手勢(shì)組、面部表情組的整體表現(xiàn)優(yōu)于隱喻性手勢(shì)組。

4.3 情緒效價(jià)調(diào)控面部表情組、隱喻性手勢(shì)組、面部表情+隱喻性手勢(shì)組的表現(xiàn)

1) 詞語(yǔ)回憶分值方面。學(xué)習(xí)方式與情緒效價(jià)的交互效應(yīng)不顯著，F(xiàn)(3,152) =1.117，p > 0.05。不過(guò)，在面部表情+隱喻性手勢(shì)組中，消極效價(jià)詞的得分仍明顯(p < 0.05) 高于積極效價(jià)詞，并且在面部表情組，消極效價(jià)詞的得分也高于積極效價(jià)詞，且顯著性達(dá)到了邊緣性水平 (p = 0.079)；2) 詞義識(shí)別正確率方面。學(xué)習(xí)方式與情緒效價(jià)的交互效應(yīng)邊緣性顯著，F(xiàn)(3,140) = 2.342，p = 0.076。面部表情+隱喻性手勢(shì)組中，消極效價(jià)詞的正確率明顯 (p < 0.05) 高于積極效價(jià)詞，面部表情組中，消極效價(jià)詞的正確率也明顯 (p < 0.05) 高于積極效價(jià)詞，但隱喻性手勢(shì)組中，二者并無(wú)顯著差距 (p > 0.05)；3)詞義識(shí)別反應(yīng)時(shí)方面。學(xué)習(xí)方式與情緒效價(jià)的交互效應(yīng)不顯著，F(xiàn)(3,140) = 1.430，p > 0.05。這表明，情緒效價(jià)可以調(diào)控面部表情、面部表情+隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響。相較于積極效價(jià)詞，目標(biāo)詞為消極效價(jià)詞時(shí)，面部表情、面部表情+隱喻性手勢(shì)的促學(xué)效果更優(yōu)。

5. 討論

根據(jù)具身語(yǔ)義觀，情緒體驗(yàn)信息本身就是語(yǔ)義系統(tǒng)的重要元素，并且會(huì)參與語(yǔ)義的構(gòu)建與表征 (Dijkstra & Post 2015)。因此，通過(guò)闡釋有關(guān)變量對(duì)目標(biāo)詞情緒效價(jià)的激活程度或強(qiáng)度，即可檢驗(yàn)其詞義加工程度及習(xí)得效果。

5.1 有伴語(yǔ)模態(tài) (面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)) 和無(wú)伴語(yǔ)模態(tài)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響

詞語(yǔ)回憶分值、詞義識(shí)別正確率及反應(yīng)時(shí)數(shù)據(jù)顯示，面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)的二語(yǔ)情緒負(fù)載詞整體習(xí)得效果顯著優(yōu)于無(wú)伴語(yǔ)模態(tài)。首先，該研究結(jié)果印證了多感官統(tǒng)合 (multisensory integration) 優(yōu)勢(shì)效應(yīng)，它指的是將來(lái)自不同感官的信息編碼為統(tǒng)一、互補(bǔ)信息的過(guò)程，經(jīng)過(guò)多感官編碼的詞匯往往比單感官編碼更具記憶優(yōu)勢(shì) (Yu et al. 2022)。本文中，面部表情、隱喻性手勢(shì)、口語(yǔ)及譯詞共同促成了多感官統(tǒng)合的信息加工模式，因此，當(dāng)口語(yǔ)理解出現(xiàn)困難時(shí)，受試就可以借助伴語(yǔ)模態(tài)進(jìn)行信息代償以提高攝入 (intake) 信息的完整度、準(zhǔn)確性；其次，本實(shí)驗(yàn)進(jìn)一步完善了 Brase & Mani (2017) 關(guān)于有伴語(yǔ)模態(tài)比無(wú)伴語(yǔ)模態(tài)更能提高二語(yǔ)情緒標(biāo)簽詞習(xí)得效果的結(jié)論，將適用范圍進(jìn)一步拓展到情緒負(fù)載詞。并且，本文研究擴(kuò)大了伴語(yǔ)模態(tài)的范圍，證明了隱喻性手勢(shì)也能取得同樣促學(xué)效果。這主要是因?yàn)槭茉囈部赏ㄟ^(guò)手勢(shì)“趨利避害”的隱喻圖式關(guān)聯(lián)到目標(biāo)詞的情緒效價(jià)上，此時(shí)，他們就能進(jìn)一步基于鏡像神經(jīng)系統(tǒng)激活自身的相應(yīng)內(nèi)感受系統(tǒng) (interoceptive system) (王興隆、亢世勇 2024)，從而也能產(chǎn)生感同身受般的具身情緒體驗(yàn)，并據(jù)此進(jìn)一步促進(jìn)對(duì)目標(biāo)詞的加工及習(xí)得。

5.2 面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響

由數(shù)據(jù)可知，面部表情+隱喻性手勢(shì)組、面部表情組的二語(yǔ)情緒負(fù)載詞習(xí)得效果顯著優(yōu)于隱喻性手勢(shì)組。首先，為什么面部表情比隱喻性手勢(shì)更有促學(xué)優(yōu)勢(shì)呢？對(duì)此，我們比較認(rèn)同 Oh Kruzic et al. (2020) 的觀點(diǎn)，即學(xué)生對(duì)教師面部表情的關(guān)注度大于手勢(shì)，前者更能吸引學(xué)生的有意注意，而注意資源的增多則意味著認(rèn)知加工深度的增加，這是將信息從輸入轉(zhuǎn)為攝入的重要基礎(chǔ)。并且，在觀察到隱喻性手勢(shì)后，受試必須進(jìn)行隱喻加工、邏輯轉(zhuǎn)換才能將隱喻圖式與情緒效價(jià)建立關(guān)聯(lián)，相對(duì)來(lái)說(shuō)，這勢(shì)必會(huì)影響情緒信息的激活速度與質(zhì)量。需要注意的是，雖然面部表情+隱喻性手勢(shì)疊加了兩種伴語(yǔ)模態(tài)，但與面部表情比較，卻并未表現(xiàn)出顯著優(yōu)勢(shì)。相關(guān)研究 (Hietanen & Lepp?nen 2008；Aviezer et al. 2012) 顯示，手勢(shì)與面部表情搭配時(shí)，多模態(tài)之間經(jīng)常會(huì)發(fā)生彼此干擾及認(rèn)知資源爭(zhēng)奪現(xiàn)象 (王興隆等 2022)，這反而增加了部分受試的內(nèi)在認(rèn)知負(fù)荷，從而最終會(huì)削弱多伴語(yǔ)模態(tài)的整體效應(yīng)。此外，面部表情與隱喻性手勢(shì)的情緒效價(jià)激活模式截然不同，前者是基于具身生理反應(yīng)的“直接激活”，后者則需借助隱喻映射策略進(jìn)行“間接激活”，這會(huì)在一定程度上抑制伴語(yǔ)模態(tài)融合的通暢程度，從而最終影響了部分目標(biāo)詞的加工質(zhì)量與習(xí)得效率。

5.3 情緒效價(jià)調(diào)控面部表情、隱喻性手勢(shì)、面部表情+隱喻性手勢(shì)對(duì)二語(yǔ)情緒負(fù)載詞習(xí)得的影響

數(shù)據(jù)顯示，情緒效價(jià)對(duì)面部表情、面部表情+隱喻性手勢(shì)的二語(yǔ)情緒負(fù)載詞習(xí)得影響具有明顯調(diào)控性。情緒效價(jià)對(duì)詞語(yǔ)習(xí)得的影響方面，學(xué)界大致存在積極偏向觀、消極偏向觀及無(wú)偏向觀 (王興隆、亢世勇 2024)。但上述觀點(diǎn)均是無(wú)伴語(yǔ)模態(tài)條件下的結(jié)論，本文進(jìn)一步證明了在有伴語(yǔ)模態(tài)時(shí)情緒效價(jià)對(duì)目標(biāo)詞習(xí)得的影響情況：面部表情、面部表情+隱喻性手勢(shì)條件下，消極效價(jià)詞的習(xí)得效果明顯優(yōu)于積極效價(jià)詞，而隱喻性手勢(shì)條件下，消極、積極效價(jià)詞的習(xí)得效果并無(wú)明顯差距。這進(jìn)一步豐富了情緒效價(jià)對(duì)詞語(yǔ)習(xí)得影響的研究。消極偏向(negative bias) 是在人類漫長(zhǎng)進(jìn)化過(guò)程中形成的一種穩(wěn)定心理及神經(jīng)機(jī)制，這是因?yàn)楸苊庀麡O刺激 (如危險(xiǎn)、威脅) 比追求積極刺激更基礎(chǔ)、更迫切 (Norris 2021)。本實(shí)驗(yàn)中，消極面部表情輸出的是消極刺激，比積極面部表情更能吸引警覺(jué)性注意，有助于受試產(chǎn)生更快、更深的消極情緒體驗(yàn)，從而進(jìn)一步促進(jìn)了消極效價(jià)詞的加工與習(xí)得。然而，消極偏向?yàn)槭裁丛陔[喻性手勢(shì)中的表現(xiàn)并不突出呢？由于其與情緒效價(jià)的關(guān)聯(lián)是間接的，情緒激活速度、質(zhì)量均不如面部表情，這會(huì)抑制具身體驗(yàn)情緒的產(chǎn)生，并由此進(jìn)一步弱化或縮小積極、消極效價(jià)詞習(xí)得效果之間的差距。

6. 結(jié)語(yǔ)

本文通過(guò)實(shí)驗(yàn)集中研究了伴語(yǔ)面部表情及隱喻性手勢(shì)對(duì)英語(yǔ)二語(yǔ)情緒負(fù)載詞習(xí)得的影響。實(shí)驗(yàn)結(jié)果顯示：1) 有伴語(yǔ)模態(tài) (面部表情、隱喻性手勢(shì)、面部表情 + 隱喻性手勢(shì)) 的整體促學(xué)效果顯著優(yōu)于無(wú)伴語(yǔ)模態(tài)；2) 面部表情 + 隱喻性手勢(shì)、面部表情的促學(xué)效果均顯著優(yōu)于隱喻性手勢(shì)，但前二者之間并無(wú)明顯差距；3) 情緒效價(jià)可以調(diào)控面部表情、面部表情+隱喻性手勢(shì)的促學(xué)表現(xiàn)。相較積極效價(jià)詞，當(dāng)目標(biāo)詞為消極效價(jià)詞時(shí)，面部表情、面部表情+隱喻性手勢(shì)的促學(xué)效果更優(yōu)。

另外，本文發(fā)現(xiàn)無(wú)論是否搭配隱喻性手勢(shì)，面部表情均是二語(yǔ)情緒負(fù)載詞習(xí)得過(guò)程中的高效伴語(yǔ)模態(tài)，且對(duì)消極情緒負(fù)載詞的促學(xué)效果更佳。限于篇幅，本實(shí)驗(yàn)并未涉及初級(jí)、高級(jí)水平二語(yǔ)學(xué)習(xí)者，也未考察目標(biāo)詞習(xí)得的延時(shí)效果，因此，有關(guān)問(wèn)題尚需進(jìn)一步探討。

免責(zé)聲明：原文載于《現(xiàn)代外語(yǔ)》2025年第6期，版權(quán)歸作者所有，如有侵權(quán)，請(qǐng)及時(shí)聯(lián)系刪章。

轉(zhuǎn)載自：外語(yǔ)教師研究與專業(yè)發(fā)展公眾號(hào)