随着网络视频的流行以及引进和翻译国外的电视、电影节目,字幕成为现代媒体视频的重要元素,在视频观看中具有辅助加工的作用。研究以电影视频作为刺激材料,采用眼动技术探讨了字幕的加工过程。实验一探讨了字幕熟悉性对电影观看过程中字幕偏好性的影响作用。实验通过中文、英文、乱码和无字幕四种不同的条件,探讨了字幕的熟悉性对字幕偏好的影响。结果发现:虽然仅凭电影中的声音就完全可以理解电影内容,但是被试仍然对不同熟悉性的字幕表现出了字幕偏好性;字幕的偏好性受到字幕熟悉性的影响,随着字幕熟悉性的下降,字幕的偏好性也随着降低,说明字幕的偏好性仍然具有阅读理解的目的。实验二主要针对先前研究中结论字幕是视频语言的直接转译,与声音信息具有很高的重叠性,关闭视频的声音不影响被试对字幕的加工(d'Ydewalle & Gielen, 1992; d'Ydewalle et al., 1991; d’Ydewalle & De Bruycker, 2007)这个问题,探讨声音对字幕加工的影响作用。通过控制视频的声音信息,采用眼动技术探讨了声音对字幕偏好性的影响。结果发现:视频的声音信息会对字幕的加工产生影响,关闭声音后字幕的加工时间和次数会增加,对字幕的注视次数和注视时间占总注视的比例超过了50%,说明声音和字幕对视频的理解具有相互辅助的作用。相关研究发表在心理与行为研究(2012,10,1,50-57)和心理科学(2012,35,1,44-49)上。