喜报|软院2021级本科生金家瑞等以第一作者在中科院二区Top期刊IEEE TIM发表研究成果

近日，脑机团队成员金家瑞、陈宗楠和蔡洪华在潘家辉教授指导下的研究成果“Affective EEG-based Person Identification with Continual Learning ”被SCI期刊IEEE Transactions on Instrumentation and Measurement（中科院二区Top，JCR Q1，IF= 5.6）录用。本论文于2023年11月8日投稿，2024年4月15日录用。这是诸侯快讯入口官网本科生首次以第一作者的身份在IEEE Trans期刊发表研究成果。

脑电图（EEG）由于其难以被物理伪造的安全特性在个人识别领域而受到极大关注。尽管在基于EEG的个人识别方面取得了重大进展，但仍存在几个挑战：1) 如何动态更新模型以识别更多的用户数量；2) 如何更有效地捕捉和重构EEG信号不同域中特征的相互关系；3) 如何增强骨干网络的核心能力，包括获取全局特征同时挖掘细粒度的局部特征。为了应对这些挑战，本文提出了一种基于持续学习的情感脑电身份识别方法，使模型能够动态适应用户识别不断增长的需求。此外，我们设计了名为multi-domain coordinated attention transformer的骨干网络。此骨干网络结合了空间和时频注意机制与域协调机制，使其能够自适应性地捕捉细粒度局部特征，并在宏观层面重构跨域的相互作用。我们使用拥有80个被试和九类情绪状态的THU-EP数据集验证了我们的方法。实验结果表明我们的方法超越了当前先进的基准。此外，我们分析了不同情绪状态和频带对基于情感脑电的身份识别性能的影响，发现中性状态和β频带对持续学习中准确率的衰减影响最小。总的来说，本文的主要贡献点如下：

l   我们提出了一种新颖的基于情感脑电图的身份识别方法，可以动态更新分类被试的数量。

l   我们设计了一个新颖的骨干网络（Multi-Domain Coordinated Attention Transformer），用以从原始脑电图信号学习表征时维持脑电图三个域之间的相互关系。

l   这是通过持续学习探索基于情感脑电图的身份识别中的情感状态和频带对性能影响的首次尝试。我们发现中性状态和 beta 频段对持续学习的准确性衰减影响最小。

图 1本文的框架图

我们的方法包括三个阶段：初始阶段、增量阶段和测试阶段。在初始阶段，预处理的脑电图记录被输入主干网络，并通过分类损失进行更新。训练后，我们为每个被试最具代表性的表征构建了一个样例集。在增量阶段，来自新被试的预处理脑电信号被输入到新的骨干网络中，而来自旧被试的样本通过旧的骨干网络进行处理以获得它们的表征。最终，计算分类和蒸馏损失以更新新的主干网络。训练结束后，样例集将被更新。在测试阶段，通过比较与受试者样本平均中心的距离对新输入进行分类，从而能够在任何阶段进行身份识别。

图 2骨干网络的结构图

我们的骨干网络包含三个主要组件：多域协调注意力编码器、分块和位置嵌入以及Transformer编码器。多域协调注意力编码器捕获跨不同域的细粒度特征信息并重建域间关系。分块和位置嵌入对脑电图信号进行分段并为其分配位置信息。Transformer编码器旨在捕获脑电图信号的全局特征信息。

图 3 t-SNE可视化图

我们使用t-SNE方法可视化MD-CAT最后一层在不同阶段的输出，其中不同颜色的圆圈代表来自不同类别的数据，如图3所示。t-SNE可视化的目的是保留局部低维空间中高维空间中的数据点之间的相似性，从而确保相似的数据点在降维空间中保持彼此靠近，而不相似的数据点保持分开。结果表明，来自不同被试的数据在不同阶段很好地聚集在一起，没有出现明显的灾难性遗忘。图3还展示了骨干网络在各个阶段的输出分布特征，有助于理解模型在不同阶段的演化以及构建样本集时的数据分布。

审稿人：潘家辉