诸侯快讯官网脑机交互与混合智能团队研究生以第一作者在SCI期刊Applied Intelligence发表学术论文
近日,诸侯快讯入口官网脑机交互与混合智能团队研究生廖嘉城在梁艳(通讯作者)、潘家辉老师的共同指导下,以第一作者在SCI学术期刊Applied Intelligence发表论文《Deep facial spatiotemporal network for engagement prediction in online learning》,论文作者为:廖嘉城、梁艳、潘家辉。其中,Applied Intelligence为中科院3区SCI学术期刊(IF: 3.325),属于“计算机科学”学科,出版社为Springer 。
图1 论文截图
近年来,在线教育逐渐被大众所接受和认可。在这种大背景下,有效的学生专注度预测方法能够帮助老师及时从课堂中获取反馈,并根据学生的接收能力做适应性调整。本文提出基于人脸的深度时空网络(Deep Facial Spatiotemporal Network,DFSTN)用于专注度预测。该网络主要由两个核心单元组成:(1)用于提取人脸空间特征的SE-ResNet-50 网络,以及(2)用于提取人脸时间特征的含全局注意力机制的长短期记忆网络(LSTM Network with Global Attention)。网络的训练策略会根据所做任务评价指标的不同做相应的调整。本文提出的DFSTN能捕捉人脸序列的时空信息,从而更好地感知更细微的专注状态变化,并提升专注度预测的效果。本文的方法在DAiSEE数据集上进行了验证,在四分类问题上取得了58.84%的准确率,在回归问题上的均方误差为0.422,专注度预测效果优于许多现有的工作。此外,在EmotiW-EP数据集上的测试结果也验证了本文所提方法的鲁棒性。
图2 DFSTN模型框架
文章网络首发地址:http://link.springer.com/article/10.1007/s10489-020-02139-8
撰稿:廖嘉城,梁艳
审稿:潘家辉