人机交互是一门研究系统与用户之间交互关系的学问，其与认知心理学、人机工程学等学科领域有密切的联系，使得人与计算机系统通过多通道交互方式进行通信，从而产生智能、安全的系统服务于人类。

随着媒体传播技术的发展，移动设备的发展和用户行为的改变进一步带来了媒体个性化和智能化的需求。人机交互技术则为媒体的智能化和个性化研究提供了新的研究手段和方法。通过脑电、眼动、皮肤电、肌肉电等多通道交互方式，我们可以更好的进行传媒效果评估、媒体传播的智能化控制等研究，有利于从深层次去理解和控制传媒的影响力，实现有效传媒。

我团队基于脑电、眼动等多模态信号，进行了人机交互相关工作的研究，并取得了一系列成果。

2018-2020年我院承担并完成了中国传媒大学高精尖项目《基于脑科学的多模态智能传媒效果评估系统》，该项目旨在针对特定媒体样本，对受众脑电波与外周多生理信号进行同步监测评估，通过对生理指标的分析进而得到受众的实时心理变化，建立生理－心理量化映射图谱，从而评估媒体样本对受众的传播效力。同时，该系统监测的信号是本能生理反馈的结果，因此可以完全屏蔽主观逻辑干扰，做到高等级量化评估。最终系统所给出的评估报告将帮助媒体人对媒体样本进行更加有效的改良工作。

该系统允许接入脑电波（捕捉ERP事件相关电位）、眼动、心跳、呼吸、肌肉电、皮肤电等，在多模态生理指标综合作用下使心理及情绪评估准确率大幅提高。而眼动的接入可以让测试者得到受众的视觉运动轨迹，从而得知某一时刻某一元素使受众产生何种生理和心理反应，进而得到元素级别的媒体评估效果。

图1 媒体效果评估系统

图2 数据采集工作框架

该项目针对智能传媒领域的应用需求，设计并实现了基于脑科学的多模态智能传媒效果评估系统，为客观媒体评估体系建设起到至关重要的作用，顺利通过结项验收。

此后我们又基于脑电信号进行了情感分析、视觉分类等一系列工作，其中最近的一项工作中，我们提出了一个分类模型（Reusable LSTM Network, RLN），利用脑电信号预测对应的图片内容、进行图像分类，该模型利用最少的参数量，在公开数据集Object Category EEG Dataset（OCED）上实现了目前为止最高的分类准确率，相关文章已在审稿中。

图3 脑电数据采集

我们从可解释性方面阐释了目前基于脑电信号的分类可能更多地依赖于视觉刺激的初级特征而非更高级的概念认知，并进一步提出了未来研究应该更关注于更具鲁棒性的基于概念层级的脑电分类实验。一种可行的方法是考虑多模态的刺激呈现方式，例如，同一个概念可以呈现图片、相应的文字或相应的语音。这是基于概念在人脑中的表征是多模态的这样一个事实。视觉与其他感觉相结合的EEG实验，或许会有助于我们更好地分离出EEG信号中的概念信息。

相关代表性成果：

1.Deng Y, Jiang Y, Li S, et al. Differential trait and state frontal alpha asymmetry in women with premenstrual syndrome[J]. Motivation and Emotion, 2019, 43(6): 883-893.

2.Yaling Deng，Shuo Ding, Wenyi Li, Lihong Cao.(2022). EEG-based visual stimuli classification via reusable LSTM, Neurocomputing.(With Editor)

3.[专利]曹立宏, 考长青. 一种充气式多电极脑电帽.ZL 2017 2 0164968.7

4.Zhang Z, Deng Y, Du L, et al. Taking Individual Difference Into Consideration can Improve the Accuracy of Emotion Recognition Using the Machine Learning Approach[C]//2019 3rd International Forum on Environment, Materials and Energy (IFEME 2019). Atla

5.Deng Y, Wu F, Du L, et al. EEG-Based Identification of Latent Emotional Disorder Using the Machine Learning Approach[C]//2019 IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC). IEEE, 2019: 2642-2648.