当人置身某个环境或者观察一副图片或视频的时候,眼睛的注视位置是经常移动的,这个现象叫做眼动。眼动轨迹一方面体现内容本身的亮点(可称客观眼动),另一方面也体现了大脑注意力的不断变化(可称主观眼动)。如果说客观眼动代表婴幼儿的眼动,那么主观眼动可以代表成人的眼动。我研究院基于目前国际上先进的眼动模型理论,采用人工神经网络和Spiking神经网络相结合的方法,实现了一套模拟客观眼球运动的眼动模拟系统,能够对图片和视频等信息做实时眼动处理。该系统敏感度高、速度完全达到实时要求。
人的眼球受到6块肌肉的控制,而这6块肌肉则受到许多神经核团的影响。具有反射特征的客观眼动主要有上丘核团(SC)来控制。该眼动系统主要功能是:模拟视网膜和SC的视觉信息处理,通过Spiking的动态特性,在视频或图片中寻找在这一时刻最能吸引注意力的信息,并确定信息的位置和范围。
基于人类眼球运动的眼动模拟系统1.0,是目标跟踪、视频自动标签化、广告内容评估等应用的基础性工作。我院将进一步结合多物体识别系统,实现具有主观特征的眼动系统。