算法对抗与语义匹配系统的交互因果关系

多模态语义加工中的动态环路机制

多模态语义加工中的动态环路机制可通过以下核心内容阐述:一、多模态语义加工的基础框架双系统交互理论语义加工依赖两个核心系统:语义表征系统:负责语义信息的存储,核心脑区为后侧颞中回(pMTG)。语义控制系统:使语义加工适应当前情境和任务需求,核心脑区为额下回(IFG)。两者通过动态交互实现语义信息的灵活处理。跨模态信息的整合需求广义语义信息包含语言和非语言模态(如手势)。手势作为言语的伴随活动,具有以下特性:呈现时间早于言语,可补充或独立传递信息。与言语信息交互,共同影响语义理解(例如“剪纸”手势与“剪”语音的语义一致性)。二、动态环路机制的研究方法技术手段中国科学院杜忆研究组采用非侵入性精密计时双脉冲经颅磁刺激(double-pulse TMS)技术,将手势与言语的整合过程划分为以40ms为单位的时间窗,分别刺激pMTG和IFG,以探究两系统的因果性时间动态。图1:实验设计示意图,DP为手势区分点,IP为言语识别点。实验设计阶段划分:词汇前语音阶段(TW1-TW3):包含手势与语音的初步交互。词汇后语义阶段(TW4-TW8):涉及语义信息的深度整合。条件操纵:语义一致性:一致(如“剪纸”手势+“剪”语音)与不一致(如“喷水”手势+“剪”语音)。性别一致性:说话人与手势者性别是否匹配。任务要求:被试仅需判断说话人性别,间接观察手势-言语整合对反应时的影响。三、动态环路机制的核心发现自动化语义整合的存在控制条件下(刺激头顶Vertex),语义不一致条件下的反应时显著长于一致条件,证明手势与言语存在自动化的语义整合。两系统的时间动态差异pMTG刺激:在TW1、TW2(词汇前阶段)和TW7(词汇后阶段)显著降低整合效应,提示pMTG在语音加工初期和语义整合后期起关键作用。IFG刺激:在TW3(词汇前阶段)和TW6(词汇后阶段)显著降低整合效应,表明IFG在语音加工后期和语义整合初期发挥调控作用。图2:TMS对两系统整合效应的时间窗特异性影响。两阶段整合环路模型阶段一(词汇前语音加工):语音信息自下而上激活颞上回/颞上沟(STG/S)的语音表征。手势信息通过自上而下的语义约束调控语音加工,pMTG向IFG的前馈投射主导此阶段。阶段二(词汇后语义整合):手势与言语的语义信息整合为统一表征,IFG向pMTG的反馈调节主导此阶段。图3:两阶段动态环路模型(A为脑区影响汇总,B为环路假设)。四、理论意义与贡献因果性证据的提供通过TMS技术揭示了额叶(IFG)与颞叶(pMTG)在多模态语义加工中的动态因果关系,突破了传统相关研究的局限性。双系统交互的细化明确了语义表征系统与控制系统在不同加工阶段的时间优先级和方向性(前馈 vs. 反馈),为理解大脑如何整合跨模态信息提供了新范式。临床与应用价值该机制可为语言障碍、自闭症等涉及多模态语义整合缺陷的疾病提供理论依据和干预靶点。


nginx