Effects of Picture Labeling on Science Text Processing and Learning: Evidence From Eye Movements
Abstract
enThis study investigated the effects of reading a science text illustrated by either a labeled or unlabeled picture. Both the online process of reading the text and the offline conceptual learning from the text were examined. Eye‐tracking methodology was used to trace text and picture processing through indexes of first‐ and second‐pass reading or inspection. Fifty‐six sixth graders were randomly assigned to one of three reading conditions (text with a labeled illustration, text with an unlabeled illustration, or text only) in a pretest, immediate posttest, and delayed posttest design. Results showed no differences for factual knowledge as a function of reading condition. However, for the transfer of knowledge at both posttests, readers of the text with the labeled illustration outperformed readers in the other two conditions, who did not differentiate from each other. Eye‐fixation data showed that the labeled illustration promoted more integrative processing of the learning material, as revealed by the time spent refixating text segments while reinspecting the illustration. In addition, relations emerged between the indexes of integration of text and picture during online processing and the offline measures of factual knowledge and transfer of knowledge. Overall, in accordance with the theoretical assumptions of the multimedia principle, the study underlines the crucial role of integrative processing of words and graphics to sustain learning from illustrated text. Moreover, the study indicates that this integrative processing can be effectively supported by appropriate visual signaling.
Abstract
zh本研究调查有标记或无标记的插图对阅读科学文本的影响。研究者考查在线的文本阅读和离线的文本概念学习过程;通过追视测验方法记录首次和第二次注视时间指数,追踪阅读者对文本和图片阅读或捡视的处理过程。56名小学六年级学生被随机分配到三组阅读环境(有标记插图的文本、无标记插图的文本,或无插图的文本),以实验前测、即时后测和延迟后测的设计进行研究。研究结果显示,以事实知识作为阅读环境的函数时,并无发现任何差异。然而,在两个后测中,有标记插图文本的阅读者,在知识转移表现上,均优胜于其他两组的阅读者,而其他两组的表现并无差异。眼球注视资料揭示阅读者在重新检视插图时重新注视文本分节所用的时间,这些资料说明,有标记插图能促进阅读者对学习材料作更多的综合性处理。此外,在线的文本阅读时综合处理文本与图像的指数,与离线的事实知识习得和知识转移的表现成绩,两者之间出现关联。总的来说,本研究依据多媒体理原则的理论假设,强调文字与图像的综合处理,在支援插图文本的阅读学习上所起的关键作用。本研究亦指出,适当的视觉信号可以有效地支援这种综合处理过程。
Abstract
esEste estudio investigó el efecto de leer un texto científico con ilustraciones con o sin leyendas. Se examinaron tanto el proceso de leer el texto en la red como el aprendizaje conceptual de aprendizaje del texto. Se usó la metodología de seguir el movimiento de los ojos para seguir la pista del procesamiento del texto y las ilustraciones por medio de índices de la lectura de primera y segunda instancia o inspección. Cincuenta y seis estudiantes de sexto grado fueron escogidos al azar para participar en una de tres condiciones de lectura (un texto con una ilustración con leyenda, un texto con una ilustración sin leyenda, o sólo el texto) en un pre examen, un pos examen de inmediato, y un pos examen atrasado. Los resultados no mostraron ninguna diferencia en cuanto al conocimiento de los datos como función de la condición de lectura. Sin embargo, para la transferencia del conocimiento en ambos pos exámenes, los lectores del texto con ilustraciones con leyendas salieron mejor que los de las otras dos condiciones, los cuales no mostraron diferencias entre sí. Los datos sobre el movimiento ocular mostraron que las ilustraciones con leyendas promovieron un procesamiento más integrado del material a ser aprendido, como visto por el tiempo pasado en reconcentrarse en los segmentos de texto mientras se volvía a ver la ilustración. Además, surgieron relaciones entre los índices de integración del texto y la ilustración durante el procesamiento en la red y las medidas fuera de la red del conocimiento de hechos y transferencia del conocimiento. En conjunto, de acuerdo con las teorías asumidas de los principios de multimedia, este estudio subraya el rol importante del procesamiento integrado de palabras e ilustraciones para apoyar el aprendizaje por medio de textos ilustrados. Además, el estudio indica que este procesamiento integrado puede ser efectivamente apoyado por el señalamiento visual apropiado.
Abstract
arاستقصت هذه الدراسة تأثيرات قراءة نص علمي مصور بصورة معلمة أو غير معلمة. وقد تم فحص كل من عملية قراءة النص على الشابكة والتعلم المفاهيمي لدى النص خارج الشابكة. وتم استخدام طريقة متابعة العيون لتقصص أثر معالجة النص والصورة من خلال مؤشرات المرور الأول والثاني أو المعاينة. وقد تم تعيين ستة وخمسين طالباً في الصف السادس الابتدائي عشوائياً في حالة من ثلاث حالات قرائية (نص صوره معلمة، ونص وصوره غير معلمة، ونص مجرد) في نموذج اختبار قبلي واختبار بعدي مباشر واختبار بعدي متأخر. وأشارت النتائج إلى عدم وجود اختلافات فيما يتعلق بمعرفة حقيقية كوظيفة حالة القراءة. ومع ذلك، وبخصوص نقل المعرفة في كل من الاختبارين البعدين، أداء قراء النص ذات الصور المعلمة تجاوز أداء القراء في الحالتين الأخرين الذين لم يتميزوا عن بعضهم بعضاً. وقد بينت معطيات تثبيت العيون أن الصور المعلمة دعمت معالجة المواد التعلمية أكثر تكاملاً كما تبينت بقضاء الوقت في إعادة تثبيت قطع النص بينما تمت إعادة النظر في الصورة. وبالإضافة إلى ذلك، ظهرت علاقات بين مؤشرات تكامل النص والصورة أثناء المعالجة على الشابكة ومقاييس المعرفة الحقيقية خارج الشابكة ونقل المعرفة. عموماً ووفقاً للافتراضات النظرية لدى مبدأ المواد المتعدد الأوساط فإن الدراسة تؤكد دور المعالجة المتكاملة الحاسم للكلمات والصور لمؤازرة التعلم من نص مصور. وفوق هذا، تشير الدراسة إلى أن هذه المعالجة المتكاملة تستطيع دعمها إشارات بصرية ملاءمة.
Abstract
ruAвтopы пpoaнaлизиpoвaли peзyльтaты чтeния нayчнoгo тeкcтa, cнaбжeннoгo иллюcтpaциeй c пoдпиcью или бeз пoдпиcи. Иccлeдoвaлиcь пpoцeccы чтeния oнлaйн и oфлaйн (нa элeктpoнныx и бyмaжныx нocитeляx). Meтoд, пoзвoляющий oтcлeживaть движeниe глaзa, иcпoльзoвaлcя, чтoбы ycтaнoвить, кaк пpoиcxoдит oбpaбoткa тeкcтoвoй инфopмaции и видeopядa: yчитывaлиcь индeкcы пepвичнoгo и пoвтopнoгo пpoчтeния и пpocмoтpa. Иcпытyeмым (yчaщимcя шecтoгo клacca, N=56)пpeдлaгaлocь пpoчитaть тeкcт в oднoм из тpex вapиaнтoв: тeкcт c пoдпиcaннoй иллюcтpaциeй, тeкcт c нeпoдпиcaннoй иллюcтpaциeй, тeкcт бeз иллюcтpaции. Пpoвepкa знaний ocyщecтвлялacь дo чтeния, нeпocpeдcтвeннo пocлe нeгo и пo пpoшecтвии знaчитeльнoгo вpeмeни. Peзyльтaты нe пoкaзaли пpямoй зaвиcимocти пoлyчeнныx знaний oт ycлoвий чтeния. Teм нe мeнee, в oбoиx зaключитeльныx тecтax дeти, paбoтaвшиe c тeкcтoм c пoдпиcaннoй иллюcтpaциeй, пoкaзaли бoлee выcoкиe peзyльтaты, нeжeли двe дpyгиe гpyппы, чьи peзyльтaты дpyг oт дpyгa нe oтличaлиcь. Дaнныe aппapaтypы, фикcиpoвaвшeй движeния глaз, cвидeтeльcтвyют o тoм, чтo пoдпиcь пoд иллюcтpaциeй cпocoбcтвoвaлa бoлee цeльнoмy ycвoeнию yчeбнoгo мaтepиaлa – cyдя пo вpeмeни, пoтpaчeннoмy нa пepecмoтp ceгмeнтoв тeкcтa пpи пoвтopнoм пpocмoтpe иллюcтpaции. Кpoмe тoгo, oбнapyжилacь cвязь мeждy пoкaзaтeлями цeльнocти вocпpиятия тeкcтa и иллюcтpaтивнoгo мaтepиaлa пpи paбoтe oнлaйн, c oднoй cтopoны, и oфлaйн‐зaмepaми фaктичecкиx знaний yчeникoв и cпocoбaми иx пepeдaчи, c дpyгoй. B цeлoм, в cooтвeтcтвии c тeopeтичecкими пoлoжeниями o пpинципax мyльтимeдийнocти, иccлeдoвaниe пoдчepкивaeт вaжнocть цeльнoгo вocпpиятия cлoв и гpaфики для пoлyчeния знaний из иллюcтpиpoвaннoгo тeкcтa. Кpoмe тoгo, иccлeдoвaниe yкaзывaeт, чтo coчeтaниe тeкcтa c иллюcтpaциями мoжeт эффeктивнo пoддepживaтьcя cooтвeтcтвyющими визyaльными cигнaлaми.
Abstract
frCette étude porte sur la lecture d'un texte scientifique illustré par une image avec ou sans étiquette. Nous avons examiné à la fois le processus de lecture en ligne et, hors ligne, l'apprentissage conceptuel issu du texte. Nous avons utilisé une stratégie d'observation du regard et de traitement de l'image au moyen d'indices de lecture et d'inspection lors d'un premier et d'un second passage. Nous avons réparti au hasard cinquante‐six élèves de 6e dans chacune des trois conditions de lecture (textes avec illustration étiquetée, texte avec illustration non étiquetée, ou texte uniquement) dans un plan comportant un prétest, un post‐test immédiat et un post‐test différé. Les résultats n'ont pas présenté de différences de connaissances factuelles en fonction de la condition de lecture. Cependant, en ce qui concerne le transfert de connaissances aux deux post‐tests, les lecteurs du texte avec étiquette ont dépassé les lecteurs des deux autres conditions, qui ne se distinguent pas l'un de l'autre. Les données relatives aux fixations de l’œil montrent que l'illustration avec étiquette favorise un processus plus intégratif du matériel d'apprentissage, comme le montre le temps passé à fixer à nouveau des segments de texte en réinspectant les illustrations. De plus, des relations ont émergé entre les indices d'intégration du texte et de l'image lors du traitement en ligne et les mesures hors ligne de connaissance factuelle et de transfert de connaissance. De manière globale, en accord avec les positions théoriques du principe multimédia, l’étude souligne le rôle crucial du traitement intégratif de mots et des illustrations en faveur d'un apprentissage à partir d'un texte illustré. En outre, l’étude indique que ce processus intégratif peut être soutenu efficacement par un signalement visuel adéquat.
Number of times cited: 30
- Yu-Cin Jian, Reading Instructions Facilitate Signaling Effect on Science Text for Young Readers: an Eye-Movement Study, International Journal of Science and Mathematics Education, (2018).
- Sascha Schneider, Maik Beege, Steve Nebel and Günter Daniel Rey, A meta-analysis of how signaling affects learning with media, Educational Research Review, 10.1016/j.edurev.2017.11.001, 23, (1-24), (2018).
- Tori E. Foster, Scott P. Ardoin and Katherine S. Binder, Reliability and Validity of Eye Movement Measures of Children's Reading, Reading Research Quarterly, 53, 1, (71-89), (2017).
- Juliette C. Désiron, Erica Vries, Anna N. Bartel and Nalini Varahamurti, The influence of text cohesion and picture detail on young readers’ knowledge of science topics, British Journal of Educational Psychology, 88, 3, (465-479), (2017).
- Katharina Scheiter and Alexander Eitel, The Use of Eye Tracking as a Research and Instructional Tool in Multimedia Learning, Digital Multimedia, 10.4018/978-1-5225-3822-6.ch035, (698-719), (2018).
- L. Mason, K. Scheiter and M.C. Tornatora, Using eye movements to model the sequence of text–picture processing for multimedia comprehension, Journal of Computer Assisted Learning, 33, 5, (443-460), (2017).
- Lucia Mason, Roberta Baldi, Sara Di Ronco, Sara Scrimin, Robert W. Danielson and Gale M. Sinatra, Textual and graphical refutations: Effects on conceptual change learning, Contemporary Educational Psychology, 49, (275), (2017).
- Yu-Cin Jian and Hwa-Wei Ko, Influences of text difficulty and reading ability on learning illustrated science texts for children: An eye movement study, Computers & Education, 113, (263), (2017).
- Anne Schüler, Investigating gaze behavior during processing of inconsistent text-picture information: Evidence for text-picture integration, Learning and Instruction, 10.1016/j.learninstruc.2017.03.001, 49, (218-231), (2017).
- Katharina Scheiter, Anne Schüler and Alexander Eitel, Learning from Multimedia: Cognitive Processes and Instructional Support, The Psychology of Digital Learning, 10.1007/978-3-319-49077-9_1, (1-19), (2017).
- Martina Angela Rau, A Framework for Educational Technologies that Support Representational Competencies, IEEE Transactions on Learning Technologies, 10, 3, (290), (2017).
- Steffani Saß, Kerstin Schütte and Marlit Annalena Lindner, Test-takers’ eye movements: Effects of integration aids and types of graphical representations, Computers & Education, 109, (85), (2017).
- Juan Pablo Barreyro, Irene Injoque-Ricle, Andrea Álvarez-Drexler, Jesica Formoso and Debora I. Burin, Generación de inferencias explicativas en la comprensión de textos expositivos: el rol de la memoria de trabajo y el conocimiento previo específico, Suma Psicológica, 24, 1, (17), (2017).
- Martina A. Rau, Conditions for the Effectiveness of Multiple Visual Representations in Enhancing STEM Learning, Educational Psychology Review, 29, 4, (717), (2017).
- Katharina Scheiter and Alexander Eitel, The Use of Eye Tracking as a Research and Instructional Tool in Multimedia Learning, Eye-Tracking Technology Applications in Educational Research, 10.4018/978-1-5225-1005-5.ch008, (143-164)
- Virginia Clinton, Jennifer L. Cooper, Joseph E. Michaelis, Martha W. Alibali and Mitchell J. Nathan, How Revisions to Mathematical Visuals Affect Cognition, Eye-Tracking Technology Applications in Educational Research, 10.4018/978-1-5225-1005-5.ch010, (195-218)
- Lucia Mason, Patrik Pluchino and Maria Caterina Tornatora, Using eye‐tracking technology as an indirect instruction tool to improve text and picture processing and learning, British Journal of Educational Technology, 47, 6, (1083-1095), (2015).
- Virginia Clinton, Kinga Morsanyi, Martha W. Alibali and Mitchell J. Nathan, Learning about Probability from Text and Tables: Do Color Coding and Labeling through an Interactive‐user Interface Help?, Applied Cognitive Psychology, 30, 3, (440-453), (2016).
- Virginia Clinton, Martha W. Alibali and Mitchell J. Nathan, Learning About Posterior Probability: Do Diagrams and Elaborative Interrogation Help?, The Journal of Experimental Education, 84, 3, (579), (2016).
- Juliane Richter, Katharina Scheiter and Alexander Eitel, Signaling text-picture relations in multimedia learning: A comprehensive meta-analysis, Educational Research Review, 10.1016/j.edurev.2015.12.003, 17, (19-36), (2016).
- Maria Perpetua Socorro U. Liwanag, Christina Yeager Pelatti, Ray Martens and Prisca Martens, Children’s Eye Movements, Miscue Analysis Patterns, and Retellings When Reading a Counterpoint Picture Book, Literacy Research: Theory, Method, and Practice, 65, 1, (253), (2016).
- Martina A. Rau, Joseph E. Michaelis and Natalie Fay, Connection making between multiple graphical representations: A multi-methods approach for domain-specific grounding of an intelligent tutoring system for chemistry, Computers & Education, 82, (460), (2015).
- Lucia Mason, Maria Caterina Tornatora and Patrik Pluchino, Integrative processing of verbal and graphical information during re-reading predicts learning from illustrated text: an eye-movement study, Reading and Writing, 28, 6, (851), (2015).
- Jenifer Jasinski Schneider, iText, but iDon’t Teach With It: An Essay on i-Literacy in Teacher Education, Action in Teacher Education, 10.1080/01626620.2014.969850, 37, 2, (120-137), (2015).
- Lucia Mason, Patrik Pluchino and Maria Caterina Tornatora, Eye-movement modeling of integrative reading of an illustrated text: Effects on processing and learning, Contemporary Educational Psychology, 41, (172), (2015).
- Hector R. Ponce and Richard E. Mayer, An eye movement analysis of highlighting and graphic organizer study aids for learning from expository text, Computers in Human Behavior, 41, (21), (2014).
- Lucia Mason, Patrik Pluchino and Nicola Ariasi, Reading information about a scientific phenomenon on webpages varying for reliability: an eye-movement analysis, Educational Technology Research and Development, 62, 6, (663), (2014).
- Hector R. Ponce and Richard E. Mayer, Qualitatively different cognitive processing during online reading primed by different study activities, Computers in Human Behavior, 30, (121), (2014).
- ANA SUSAC, ANDREJA BUBIC, JURICA KAPONJA, MAJA PLANINIC and MARIJAN PALMOVIC, EYE MOVEMENTS REVEAL STUDENTS’ STRATEGIES IN SIMPLE EQUATION SOLVING, International Journal of Science and Mathematics Education, 12, 3, (555), (2014).
- Lucia Mason, Andrea Anahi Junyent and Maria Caterina Tornatora, Epistemic evaluation and comprehension of web-source information on controversial science-related topics: Effects of a short-term instructional intervention, Computers & Education, 76, (143), (2014).
