Reading as the Interpretation of Signs
Abstract
enThis study examines the challenges of analyzing texts that are multimodal—that is, combining more than one mode of communication, such as written text, images, video, and/or audio—and considers the theoretical and practical implications of two very different approaches. The more common current approach, which adapts the work of Halliday and Saussure, is criticized for failing to account for critical differences in the ways that language, both written and spoken, and other modes of signification convey meaning and consequently rely on linguistic structures in the analysis of images. A second approach, based in Peirce's triadic approach to semiotic analysis, which allows Saussurean modes of interpretation in its final stages, is proposed and demonstrated through the analysis of two news videos about the Occupy Wall Street movement produced by CNN and Al Jazeera. In conclusion, the implications of the two approaches for how literacy and multimodality are defined and analyzed are considered.
Chinese
zh多模式语篇是指结合了多于一个传意模式的语篇,如书面文本、图像、视频,和/或音频等。本研究旨在考查多模式语篇分析的挑战及考量两种截然不同的分析方法背后的理论和实际意义。现时较常见的方法是按照哈利迪和索绪尔的理论工作修改而成,但这方法被批评为没有考虑到语言(书面和口语)和其它指意模式之间在意义传达方法上的关键性差别,因而只靠图像分析中的语言结构。第二种方法是基于皮尔士的三元符号学分析方法,该方法的最后阶段容许索绪尔的解读模式。这种方法的提出和示范是通过分析两个新闻视频而进行。该两个新闻视频是由美國有線新聞網和卡塔尔半岛电视台制作,其内容是关于占领华尔街运动。本文在结论中考虑到这两不同种方法对如何定义和分析读写文化和多模态带来的启示。
Spanish
esEste estudio examina los retos de analizar textos multimodales—o sea, que combinan modos de comunicación, como por ejemplo, el texto escrito con imágenes, videos y/o audio—y toma en cuenta las implicaciones teóricas y prácticas de dos diferentes aproximaciones. El aproximamiento más común hoy día, el cual adapta el trabajo de Halliday y Saussure, es criticado por no tomar en cuenta importantes diferencias en la manera en que el lenguaje, tanto escrito como hablado, y otras maneras de significar transmiten significado y por lo tanto dependen de estructuras lingüísticas al analizar imágenes. Proponemos y demostramos un segundo acercamiento, basado en el aproximamiento triádico de Pierce al análisis semiótico, el cual permite modos de interpretación Sausserianos en sus etapas finales, por medio del análisis de dos videos nuevos sobre el movimiento de “Occupy Wall Street” producidos por CNN y Al Jazeera. En conclusión, se consideran las implicaciones de ambos aproximamientos en cuanto a cómo se definen y analizan la alfabetización y la multimodalidad.
Arabic
arتبحث هذه الدراسة تحديات تحليل النصوص ذات الوسائط المتعددة، التي تجمع بين أكثر من واسطة واحدة للاتصال، مثل النص المكتوب، والصور، والفيديو، و/أو التسجيلات الصوتية – وتأخذ بعين الإعتبار التأثيرات النظرية والعملية للنهجين المختلفين. النهج الحالي الأكثر إنتشاراَ، والذي يعتمد على عمل هاليداي وسوسير(Halliday and Saussure)، وانتقد هذا العمل لعدم مراعاته للفروق الهامة في طرق توصيل اللغة، سواء المكتوبة اوالمنطوقة، وغيرها من طرق نقل مغزى المعنى وبالتالي الاعتماد على الهياكل اللغوية في تحليل الصور. والنهج الثاني، والذي يعتمد على نهج بيرس (Peirce) لتحليل الأعراض الثلاثية، والذي يمكن الهيكل السوسيري (Saussurean) للتفسير في مراحله النهائية قد أقترح وأثبت من خلال تحليل شرطين فيديو أخبار عن حركة احتلال وول ستريت الاتي أنتجتها CNN وقناة الجزيرة. في الختام، أعتبرت وحللت آثار النهجين على كيفية القراءة والكتابة والوسائط المتعددة.
Russian
ruB cтaтьe зaтpoнyты пpoблeмы, вoзникaющиe пpи aнaлизe мyльтимoдaльныx тeкcтoв, гдe coчeтaютcя cpaзy нecкoлькo cпocoбoв кoммyникaции – пиcьмeнный тeкcт, изoбpaжeния, видeo, и/или ayдиo. Иccлeдyeтcя тeopeтичecкoe и пpaктичecкoe знaчeниe двyx кapдинaльнo paзличныx пoдxoдoв. Haибoлee pacпpocтpaнeнный в нacтoящee вpeмя пoдxoд, ocнoвaнный нa пoлoжeнияx Xaллидeя и Coccюpa, pacкpитикoвaн зa игнopиpoвaниe cyщecтвeнныx paзличий мeждy cпocoбaми cигнификaции в пиcьмeннoй и ycтнoй peчи, a тaкжe дpyгиx тeкcтax, пocкoлькy вce oни пepeдaют нeкий cмыcл и, cлeдoвaтeльнo, пpи aнaлизe изoбpaжeний oпиpaютcя нa лингвиcтичecкиe cтpyктypы. Пpивeтcтвyeтcя втopoй пoдxoд, кoтopый ocнoвaн нa тpиaдe Пиpca и близoк к ceмиoтичecкoмy aнaлизy, чтo пoзвoляeт нa зaключитeльныx этaпax пpимeнить мoдeли Coccюpa. Eгo дocтoинcтвa дeмoнcтpиpyютcя нa мaтepиaлe двyx видeo нoвocтeй o движeнии “Oккyпaй Уoлл‐cтpит”, cнятыx кoмпaниями Cи‐Эн‐Эн и Aль‐Джaзиpa. B зaключeниe paccмaтpивaютcя вoзмoжнocти oбoиx пoдxoдoв для oпpeдeлeния и aнaлизa в cфepe гpaмoтнocти и мyльтимoдaльнocти.
French
frCette étude examine les défis que pose l'analyse de textes multimodaux – c'est‐à‐dire de textes qui combinent plus d'un mode de communication, tel que le texte écrit, des images, des videos et/ou des enregistrements audios – et s'intéresse aux implications théoriques et pratiques de deux approaches très différentes. L'approche la plus courante, qui est une adaptation du travail de Halliday et de Saussure, fait l'objet de critiques car il échoue à rendre compte des différences critiques de la façon dont le langage, aussi bien écrit que parlé, véhicule la signification et est par conséquent lié aux structures linguistiques lors de l'analyse des images. Nous proposons alors une seconde approche qui, basée sur l'approche triadique de l'analyse sémiotique de Peirce, permet d'utiliser les modes saussuriens d'interprétation dans ses dernières étapes; ceci est démontré par l'analyse de deux nouvelles vidéos portant sur le mouvement d'occupation de Wall Street produites par CNN et Al Jazeera. En conclusion, nous examinons les implications de ces deux approaches sur la façon dont on définit et analyse la littératie et la multimodalité.
