Subtitles and Eye Tracking: Reading and Performance
Abstract
enThis article presents an experimental study to investigate whether subtitle reading has a positive impact on academic performance. In the absence of reliable indexes of reading behavior in dynamic texts, the article first formulates and validates an index to measure the reading of text, such as subtitles on film. Eye‐tracking measures (fixations and saccades) are expressed as functions of the number of standard words and word length and provide a reliable index of reading behavior of subtitles over extended audiovisual texts. By providing a robust index of reading over dynamic texts, this article lays the foundation for future studies combining behavioral measures and performance measures in fields such as media psychology, educational psychology, multimedia design, and audiovisual translation. The article then utilizes this index to correlate the degree to which subtitles are read and the performance of students who were exposed to the subtitles in a comprehension test. It is found that a significant positive correlation is obtained between comprehension and subtitle reading for the sample, providing some evidence in favor of using subtitles in reading instruction and language learning. The study, which was conducted in the context of English subtitles on academic lectures delivered in English, further seems to indicate that the number of words and the number of lines do not play as big a role in the processing of subtitles as previously thought but that attention distribution across different redundant sources of information results in the partial processing of subtitles.
Chinese
zh本实验研究旨在考查字幕阅读对学习成绩是否有积极的影响。在没有动态文本阅读行为的可靠指标作参照的情况下,本研究首先制定和验证一项用来衡量动态文本阅读 (例如阅读电影字幕) 的指标。该指标使用眼动跟踪方法 (注视和扫视) 的度量单位,表示标准字词数量和字词长度的函数,并为扩展视听文本的字幕阅读行为,提供一项可靠指标。通过提供一项健全的动态文本阅读指标,本研究为结合媒体心理学、教育心理学、多媒体设计和视听翻译等领域中的行为度量及成绩之未来研究,奠定了基础。本研究继而利用这指标,考查学生在接受具有字幕的阅读理解测试时,他们的字幕阅读程度与他们的成绩表现的关联。结果发现,就这个研究样本而言,阅读理解与字幕阅读有显著的正面相关性,并为在阅读教学和语言学习中利用字幕阅读这方法,提供一些有力证据。本研究是在用英语授课的学术电影上阅读英文字幕的环景下进行,研究结果似乎进一步显示,单词数目和本文行数对字幕阅读的处理过程的影响,并非如以前所认为的那么重要,但是注意力分配到不同冗余来源的信息时,却导致字幕阅读过程的不完全处理。
Spanish
esEste artículo presenta un estudio experimental en el cual se investiga si la lectura de subtítulos tiene un impacto positivo en el desempeño escolar. Ausente índices confiables del comportamiento lector de textos dinámicos, el artículo primero formula y convalida un índice para medir la lectura de textos como los subtítulos en las películas. Medidas que siguen el movimiento ocular (fijos y sacádicos) se expresan como funciones del número de palabras estándar y la largura de la palabra, y producen un índice confiable del comportamiento lector de subtítulos a través de textos audiovisuales extensos. Proveyendo un índice robusto de lectura sobre textos dinámicos, este artículo crea una base para futuros estudios que combinen medidas de comportamiento y medidas de desempeño en disciplinas como psicología de los medios, psicología educacional, diseño multimedia, y traducción audiovisual. El artículo entonces usa este índice para correlacionar el grado en que los subtítulos son leídos y el desempeño de los estudiantes que fueron expuestos a los subtítulos en un examen de comprensión. Se encontró que se obtiene un correlación positiva importante entre la comprensión y la lectura de subtítulos en la muestra, dando evidencia a favor del uso de subtítulos en la enseñanza de lectura y el aprendizaje del idioma. El estudio, el cual tomó lugar en el contexto de subtítulos en inglés durante conferencias académicas en inglés, parece también indicar que ni la cantidad de palabras ni el número de líneas juega un papel importante en el procesamiento de subtítulos como antes se creía pero que la distribución de la atención a través de varias fuentes diferentes redundantes resultan en el procesamiento parcial de subtítulos.
Arabic
arيقدم هذه المقالة دراسة تجريبية لتبحث إذا أثرت قراءة الحاشية السينمائية تأثيراً إيجابياً على الأداء الدراسي. وفي غياب أدلة موثوق بها بشأن الأسلوب القرائي في النصوص الديناميكية، أولاً تصيغ هذه المقالة مؤشراً وتثبت صحته لقياس قراءة النص مثل الحاشية السيمائية. تظهر سجلات حركات العين (نقاط التثبيت والرمشات) كوظائف للكلمات المعيارية وطول الكلمة وتوفر مؤشراً موثوقاً به لأسلوب قراءة الحاشية السيمائية عبر نصوص سمعية بصرية طويلة. ومن خلال توفير مؤشر قوي للقراءة عبر نصوص ديناميكية، تضع هذه المقالة أساساً لدراسات مستقبلية تجمع قياسات السلوك وقياسات الأداء في المجالات مثل علم النفس الإعلامي وعلم النفس التربوي والتصميم المتعدد الأوساط والترجمة السمعية البصرية. وثم تستخدم هذه المقالة هذا المؤشر لارتباط الدرجة التي تتم فيها قراءة الحاشية السينمائية بأداء الطلاب الذين تعرضوا إليها في امتحان الاستيعاب. وقد تم إيجاد ارتباط إيجابي بين الاستيعاب وقراءة الحاشية السينمائية في العينة وهذا يوفر بعض الأدلة لصالح استخدام الحاشية السينمائية في تعليم القراءة وتعلم اللغة. إن هذه الدراسة، التي قد أجريت في سياق الحاشية السينمائية الإنكليزية أثناء محاضرات دراسية أُلْقِيَت في الإنكليزية، تبدو وكأنها تشير إلى أن لا يلعب عدد الكلمات ولاعدد السطور دوراً كبيراً في فهم الحاشية السينمائية كما كان متوقعاً من قبل وإنما يؤدي توزيع الانتباه عبر مصادر زائدة مختلفة المعلومات إلى فهم جزءي من الحاشية السينمائية.
Russian
ruB cтaтьe пpeдcтaвлeны peзyльтaты экcпepимeнтaльнoгo иccлeдoвaния, пocвящeннoгo чтeнию cyбтитpoв и иx влиянию нa aкaдeмичecкиe ycпexи yчaщиxcя. B oтcyтcтвиe нaдeжныx пoкaзaтeлeй пoвeдeния пpи чтeнии динaмичecкиx тeкcтoв aвтop cнaчaлa фopмyлиpyeт и oбocнoвывaeт пoкaзaтeли для зaмepa чтeния cyбтитpoв к фильмy. Движeния глaз (иx фикcaция и caккaды) бepyтcя в кaчecтвe пpoизвoднoй oт oбщeгo чиcлa cтaндapтныx cлoв и длины cлoвa, чтo в итoгe дaeт нaдeжный индeкc пoвeдeния читaтeлeй пpи чтeнии cyбтитpoв к пpoдoлжитeльным ayдиoвизyaльным тeкcтaм. Teм caмым aвтop зaклaдывaeт ocнoвy для бyдyщиx иccлeдoвaний, гдe индeкc пoвeдeния пpи чтeнии и peзyльтaты чтeния бyдyт кoмбиниpoвaтьcя в тaкиx oблacтяx, кaк пcиxoлoгия CMИ, oбpaзoвaтeльнaя пcиxoлoгия, мyльтимeдийный дизaйн и ayдиoвизyaльный пepeвoд. Дaлee этoт индeкc иcпoльзyeтcя в cтaтьe, чтoбы cooтнecти кoличecтвo пpoчитaнныx cyбтитpoв c peзyльтaтaми тecтиpoвaния нa пoнимaниe coдepжaния cpeди yчaщиxcя, кoтopым эти cyбтитpы были пpeдлoжeны. У вcex иcпытyeмыx oбнapyжeнa cyщecтвeннaя пoлoжитeльнaя кoppeляция мeждy пoнимaниeм и чтeниeм cyбтитpoв, чтo cвидeтeльcтвyeт в пoльзy пpимeнeния cyбтитpoв в oбyчeнии чтeнию и языкy. Иccлeдoвaниe, пpoвeдeннoe в cвязи c иcпoльзoвaниeм aнглийcкиx cyбтитpoв нa aкaдeмичecкиx лeкцияx, кoтopыe читaлиcь пo‐aнглийcки, тaкжe yкaзывaeт, чтo кoличecтвo cлoв и cтpoк нe cтoль знaчимы пpи oбpaбoткe cyбтитpoв, кaк cчитaлocь paнee, зaтo pacпылeниe внимaния нa paзличныe излишниe иcтoчники инфopмaции вeдeт к нeпoлнoмy пpoчтeнию cyбтитpoв.
French
frCet article présente une étude expérimentale afin de voir si la lecture de sous‐titres a un impact positif sur les résultats scolaires. A défaut d'indicateurs fiables du comportement du lecteur dans un texte courant, cet article formule puis valide un indicateur pour mesurer la lecture d'un texte tel que les sous‐titres d'un film. Les mouvements oculaires (fixations et saccades) sont exprimés en fonction du nombre de mots standard et de la longueur des mots et ceci constitue un indicateur fiable du comportement de lecture des sous‐titres pour des textes audio‐visuels longs. En fournissant un indice robuste de lecture pour des textes courants, cet article jette les fondements en vue de futures recherches qui combineraient des mesures de comportement et des mesures de résultats dans des champs tels que la psychologie des médias, la psychologie de l’éducation, les projets de multimédia, et la traduction audio‐visuelle. L'article utilise alors cet indicateur pour mettre en corrélation le degré auquel les sous‐titres sont lus et les résultats des élèves quand ils sont exposés aux sous‐titres dans un test de compréhension. On trouve une corrélation significative entre compréhension et lecture des sous‐titres, ce qui apporte de l'eau au moulin favorable à une utilisation de la lecture des sous‐titres dans l'enseignement de la lecture et l'apprentissage du langage. Cette étude, réalisée dans un contexte d'effet des sous‐titres en anglais sur les résultats scolaires en anglais, semble indiquer en outre que le nombre de mots et le nombre de lignes ne jouent pas un aussi grand rôle dans le traitement des sous‐titres qu'on ne le pensait mais que la distribution de l'attention à travers des sources différentes et redondantes d'information résulte du traitement partiel des sous‐titres.
Number of times cited: 12
- Jan-Louis Kruger, Stephen Doherty, Wendy Fox and Peter de Lissa, Chapter 12. Multimodal measurement of cognitive load during subtitle processing, Innovation and Expansion in Translation Process Research, 10.1075/ata.18.12kru, (267-294), (2018).
- Wu-Yuin Hwang, Yung-Hui Li and Rustam Shadiev, Exploring effects of discussion on visual attention, learning performance, and perceptions of students learning with STR-support, Computers & Education, 116, (225), (2018). the 2017 CHI Conference CHI '17 Denver, Colorado, USA Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems - CHI '17 Human Factors in Computing systems ACM Press New York, New York, USA , (2017). 9781450346559 , 10.1145/3025453 20170503014857 http://dl.acm.org/citation.cfm?doid=3025453 Kuno Kurzhals, Emine Cetinkaya, Yongtao Hu, Wenping Wang and Daniel Weiskopf Close to the Action Eye-Tracking Evaluation of Speaker-Following Subtitles , (2017). 6559 6568 , 10.1145/3025453.3025772 20170502014922 http://dl.acm.org/citation.cfm?doid=3025453.3025772
- Carmen Muñoz, The role of age and proficiency in subtitle reading. An eye-tracking study, System, 67, (77), (2017).
- Haidee Kruger and Jan‐Louis Kruger, Cognition and Reception, The Handbook of Translation and Cognition, (71-89), (2017).
- Nicole Johnston, Alicia Salaz and Lana Alsabbagh, Print and Digital Reading Preferences and Behaviors of University Students in Qatar, Information Literacy: Key to an Inclusive Society, 10.1007/978-3-319-52162-6_24, (247-255), (2017).
- Carme Mangiron, Reception of game subtitles: an empirical study, The Translator, 22, 1, (72), (2016).
- Izabela Krejtz, Agnieszka Szarkowska and Maria Łogińska, Reading Function and Content Words in Subtitled Videos, Journal of Deaf Studies and Deaf Education, 21, 2, (222), (2016). 2016 Eighth International Conference on Quality of Multimedia Experience (QoMEX) Lisbon, Portugal 2016 Eighth International Conference on Quality of Multimedia Experience (QoMEX) IEEE , (2016). 978-1-5090-0354-9 Toinon Vigier, Yoann Baveye, Josselin Rousseau and Patrick Le Callet Visual attention as a dimension of QoE: Subtitles in UHD videos , (2016). 1 6 7498924 , 10.1109/QoMEX.2016.7498924 http://ieeexplore.ieee.org/document/7498924/
- Y‐M. Huang, C‐J. Liu, R. Shadiev, M‐H. Shen and W‐Y. Hwang, Investigating an application of speech‐to‐text recognition: a study on visual attention and learning behaviour, Journal of Computer Assisted Learning, 31, 6, (529-545), (2014).
- Selina Sharmin, Oleg Špakov and Kari-Jouko Räihä, Dynamic text presentation in print interpreting – An eye movement study of reading behaviour, International Journal of Human-Computer Studies, 78, (17), (2015).
- Rafael Matielo, Roberta Pires de Oliveira and Luciane Baretta, Subtitling, Working Memory, and L2 Learning: A Correlational Study, Revista Brasileira de Linguística Aplicada, 10.1590/1984-6398201812773, 18, 3, (665-696), (2018).
