Semantic Alignment of EEG and Text: A Contrastive Learning Framework for Decoding Imagined Speech
中文摘要
由模型生成 · 人工抽检该研究将多模态对比学习框架用于脑电想象语音解码，把EEG信号与冻结文本编码器的语言表征在嵌入空间中对齐，在Chisco数据集39类意图上取得与闭集分类器相当的性能，并支持相似度检索、可靠性排序与语义结构评估，为自然化脑机接口提供新路径。
全文
已译中文[Submitted on 14 Oct 2026]
标题：
Semantic Alignment of EEG and Text: A Contrastive Learning Framework for Decoding Imagined Speech
查看题为 Semantic Alignment of EEG and Text: A Contrastive Learning Framework for Decoding Imagined Speech 的论文 PDF，作者为 Shahryar G. Namdari 及另外 3 位作者
查看 PDF
HTML（实验性）
摘要：
从EEG进行想象语音解码为自然化的脑机接口提供了一条有前景的路径。传统的闭集分类器将语义类别视为独立标签，未显式利用语言意图之间的关系，限制了输出的灵活性。我们将多模态对比学习框架适配于想象语音，在冻结的预训练文本编码器的向量嵌入空间中将EEG试次与语言表示对齐。EEG编码器采用复合目标进行训练，该目标结合了语义重加权的EEG-句子对齐与基于文本原型的类别判别，在保持39个意图类别之间可分性的同时促进语义结构。我们在Chisco想象语音数据集上对五名受试者评估了该方法，报告Top-k准确率、macro-F1和平衡成对匹配准确率（2v2）。我们还研究了最大EEG-文本余弦相似度（MaxCosine）作为解码可靠性的内在指标，并使用五个评估时语义轴以及带有先前未见候选句子的定性语义画廊探针（SGP）来探查类别标签之外的语义结构。该对比框架在将EEG映射到冻结语言嵌入空间的同时，取得了与任务优化的闭集分类器相当的解码性能。MaxCosine识别出了在各受试者中具有更高Top-1和Top-5准确率的留出试次子集。评估时语义轴在所有五个维度上均显示出高于50%随机参考的平均一致率，SGP定性地展示了对未见候选句子的直接比较。综上，这些发现表明EEG-语言对齐可以保持相当的固定意图解码能力，同时支持基于相似度的检索、内在可靠性排序以及更广泛语义结构的评估。
提交历史
来自：Shahryar Namdari Ghareghani [
查看邮件
[v1]
2026年10月14日 星期三 18:14:36 UTC（478 KB）
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。