El concepto de isomorfismo es fundamental para poder profundizar en la idea de transducción. Este término significa literalmente igualdad (iso) de forma (morfos). En matemáticas, un isomorfismo implica una relación de correspondencia de una a uno entre los elementos de dos sistemas numéricos (Levi 1956). Esta definición expresa una igualdad estructural entre dos sistemas distintos. El isomorfismo requerido por la Teoría Gestalt, sin embargo “no es un isomorfismo estructural estricto” (Köhler 1969), sino simplemente un isomorfismo funcional que “da cuenta de las propiedades de los objetos como son percibidos subjetivamente, preservando las transformaciones funcionales observadas en la percepción”. Podríamos rebatir esta definición de isomorfismo funcional ya que todo lo que percibimos es, como hemos explicado, percibido de manera subjetiva. Es por esto que no haremos una distinción entre isomorfismo estructural y funcional.
6. TRANSDUCCIÓN COMO METÁFORA DE LA HERENCIA GENÉTICA
La posibilidad de medir la manera en la que las propiedades de los sonidos e imágenes varían en el tiempo nos permite codificar su conducta de distintas formas: por medio de gráficos, notación musical, código alfanumérico, etc. Representadas como código, las variaciones dinámicas del movimiento de un objeto en un ámbito de origen pueden ser transferidas (mapeadas) a otro ámbito, preservando así una correspondencia estructural entre el objeto original y el transformado.
Este mecanismo evoca la forma en la que la transducción es utilizada en el campo de la genética. En este campo, el DNA (código genético) es transferido de una bacteria a otra por medio de un virus (Nair 2008). La presencia de este tipo de transducción en la creación artística se refleja en el uso de conceptos para describir, analizar u operar sobre propiedades de objetos sonoros o visuales (tales como el movimiento, el crecimiento, la textura, el comportamiento, la densidad, etc.). El uso de estos términos nos muestra cómo los elementos de ambas modalidades pueden ser relacionados “genéticamente” entre ellos.
Podemos encontrar un ejemplo de transducción isomórfica en las relaciones que existen entre la partitura de la obra “Metástasis”, de Iannis Xenakis, y los planos arquitectónicos de su Pabellón Phillips. Ambas obras son isomórficas dado que sus estructuras surgen a partir de un código común: la partitura de “Metástasis”.
Hoy en día, la transducción basada en isomorfismos estructurales es ampliamente utilizada en el arte electrónico a través del uso de varias herramientas (como los programas Jitter, Praat, Spear, Soundhack, etc.) que nos permiten representar diferentes atributos del sonido y la imagen bajo forma de código. Por ejemplo, en mi obra audiovisual “Estudio Elástico, la transducción entre sonido e imagen fue establecida codificando las variaciones dinámicas de algunas propiedades del sonido (tales como nivel de ruido, intensidad y brillo perceptivo) y utilizando el código resultante para controlar la generación de objetos visuales animados por computadora, así como algunas de sus características (velocidad de movimiento, color, trayectoria, etc.). Las relaciones entre las propiedades del sonido y de la imagen fueron ajustadas en función de las necesidades expresivas de cada momento particular de la obra, pero siempre guardando un isomorfismo entre su estructura.
Fig. 2 “Estudio Elástico”: objetos visuales resultantes de la transducción entre sonido e imagen
7. LA TRANSDUCCIÓN COMO METÁFORA DEL CUERPO
El uso del cuerpo en la música electroacústica es un factor fundamental para lograr establecer relaciones isomórficas entre imagen y sonido en la música electroacústica. Podemos encontrar ejemplos de esto en “Le repas du serpent/Rétour a la raison” de Javier Álvarez para cello, sonidos electroacústicos y video. En esta obra, la parte de video muestra una escena en la que una serpiente engulle a un conejo. Durante el transcurso de la pieza, la cellista ejecuta una serie de acciones productoras de sonido (como rotaciones, variaciones de velocidad, de presión del arco, cambios de trayectoria y de tono muscular, etc.) que son coherentes con las estructuras expresadas por el movimiento corporal de la serpiente que aparece en el video.
Fig. 3 Transducción en la obra “Le repas du serpent” de Javier Álvarez
a partir de la ejecución de acciones productoras de sonido.
En la interpretación musical, la simulación juega un papel fundamental para poder lograr establecer relaciones de transducción entre los ámbitos sonoros y visual. Un ejemplo de esto sería la dinámica de comunicación que se establece entre la expresividad visual de un director de orquesta y la expresividad musical de los intérpretes. Durante la interpretación de una obra, los músicos tienen que hacer una predicción constante de los movimientos corporales del director. Esto les permite simular sus intenciones mediante acciones productoras de sonido (transducción de imagen a sonido). De la misma forma, el director de orquesta debe desarrollar un ajuste constante de su imagen corporal dependiendo de los resultados sonoros que desea obtener de la orquesta (transducción de sonido a imagen).
8. TRANSDUCCIÓN A PARTIR DE LA IMAGINERÍA MENTAL
Dado que nuestras percepciones son elaboraciones mentales, una experiencia perceptiva puede ser real o imaginaria. Estudiar la transducción a partir de experiencias imaginarias plantea, sin embargo, problemas metodológicos por la dificultad de observar lo que ocurre en la mente durante el acto de imaginar. Sin embargo, existen hoy en día métodos de observación (como las tomografías y los encefalogramas) que nos permiten observar lo que se asume que ocurre en el cerebro durante la imaginería mental, que es el acto de imaginar experiencias perceptivas en ausencia de sus estímulos externos correspondientes (Godoy 2003). La imaginería mental puede ser activada en diferentes modalidades sensoriales simultáneamente, y sus variedades (imaginería auditiva, imaginería visual, imaginería motora, etc.) se refieren a la modalidad sensorial que predomina en la experiencia imaginada.
Un descubrimiento significativo relacionado con la imaginería mental es el de la “equivalencia funcional”. Este término se refiere al hecho de que la imaginería motora y la ejecución de acciones motoras están relacionadas a las mismas zonas cerebrales (Decety & Graces, 1999). Esto quiere decir que existe una semejanza muy estrecha entre las formas en las que el cerebro se activa cuando ejecuta o percibe acciones y cuando solamente las imagina. Un cuerpo considerable de evidencia a favor de esto ha sido provisto por el análisis de las funciones cerebrales que están activas durante los actos de imaginar y ejecutar acciones (Holmes et al. 2001).
La equivalencia funcional nos indica que una estrategia creativa basada en la imaginación de experiencias perceptivas puede ser tan efectiva para establecer relaciones de transducción entre sonidos e imágenes como una experiencia actual. Otro descubrimiento interesante es que, como todo movimiento imaginado y las acciones que le acompañan se llevan a cabo en un espacio imaginario, usualmente habrá una activación de imaginería de diferentes modalidades sensoriales durante el acto de imaginar (Decety & Graces, 1999). A este respecto, Alain Berthoz (Berthoz, 1997) señala que nuestros mecanismos neuronales de inhibición de las acciones son esenciales para poder imaginar (simular) acciones sin necesariamente ejecutarlas.
9. UN ENFOQUE SEMIÓTICO PARA LA APLICACIÓN DEL CONCEPTO DE TRANSDUCCIÓN
Como hemos mencionado, los sonidos e imágenes son elaboraciones mentales y sus relaciones con las experiencias vividas no pueden ser separadas de su percepción. La percepción es una elaboración constante de significados y es por esto que un enfoque basado en la transducción tendría que tomar en cuenta la transferencia de significados que se pueden establecer entre sonidos e imágenes al interior de un proceso compositivo.
El abordar un sistema audiovisual como un sistema de signos nos permite utilizar los conceptos analíticos existentes en los estudios sobre semiótica. Jesús González Maestro (Maestro 2005) señala que para que la transducción de significado pueda tener lugar, un agente intermediario tiene que transformar el sentido del mensaje enviado al receptor. En la creación audiovisual, este proceso sitúa al sujeto intermediario en el centro de una red en la que diferentes tipos de signos visuales y sonoros son transformados y transmitidos a través de su mediación. Factores tales como la intuición, las motivaciones personales, las experiencias previas, el contexto cultural y el conocimiento o habilidades que un individuo pueda tener en el trabajo del sonido o la imagen tienen un factor decisivo en la creación de significado a partir de objetos visuales o sonoros. En este contexto, los signos visuales y sonoros son sonidos e imágenes que pueden expresar algo, que encarnan un significado particular que cobra actualidad a través de su apropiación por parte de un receptor.
Fig. 4 Transducción de significado entre dos ámbitos distintos
En algunas formas artísticas como el teatro, la ópera, el video arte y el cine, la complejidad de la transducción de significado puede incrementar de maneras interesantes en virtud de la variedad de sistemas semióticos que entran en juego. T.Kowzan (Kowzan 1969), por ejemplo, clasifica trece sistemas de signos utilizados en la representación teatral: 1. palabra; 2. tono de voz; 3 mímica; 4. gesto; 5. movimiento; 6. maquillaje; 7. peinado; 8. atuendo; 9. accesorios; 10. decoración; 11. iluminación; 12. música; 13. efectos de sonido. A pesar de que los límites entre las categorías de Kowzan son borrosos y de que podríamos añadir fácilmente otros sistemas a su clasificación, ésta nos permite darnos una idea de la variedad de sistemas que pueden participar en la elaboración del significado de una obra. Un guiño de ojo, un color, una inflección de la voz, un ángulo de cámara, un accesorio o un sonido... en un proceso de creación cualquier cosa puede actuar como un signo (Kowzan 1965) porque los signos son creados por la actividad humana.
La riqueza de estos formatos implicaría la consideración de varios tipos de sistemas de signos sonoros y visuales que, a pesar de sus diferencias, están relacionados por un agente intermediario (un transductor). Este agente transductor se consolida a partir del momento en que su acción sobre el mensaje condiciona las posibilidades de recepción por parte del público (Maestro 2005).
10. OBSERVACIONES FINALES
Explorar los mecanismos que posibilitan la transducción entre imagen y sonido sería un paso fundamental para lograr expandir las estrategias creativas en las artes sonoras, visuales o audiovisuales. En la música electroacústica, por ejemplo, los sistemas informáticos son usados con demasiada frecuencia para transducir aspectos estructurales entre sonidos e imágenes. Sin embargo, un enfoque transductivo para el desarrollo de sistemas informáticos podría contribuir a ampliar las posibilidades de las herramientas existentes. Una técnica desarrollada en el campo de la inteligencia artificial llamada “inferencia transductiva” (Gammerman et al. 1998) sería una de las vías que más claramente podrían podrían comenzar a ser usadas para desarrollar tecnologías para establecer transferencias entre elementos de ambas modalidades. Esta técnica podría servir para “entrenar” a la computadora para generar transducciones entre imágenes y sonidos en respuesta a estímulos visuales o sonoros.
Finalmente, estoy convencido de que una teoría de la creación audiovisual que busque estudiar las relaciones entre la imagen y el sonido más allá de sus estructuras, referentes o analogías tiene que considerar el uso de una poética de intermediarios: una poética de la transducción (Maestro 2005). Esta aproximación nos permitiría comprender las relaciones entre sonido e imagen desde una perspectiva holística que abarque tanto los factores biológicos como los aspectos subjetivos con las que los intermediarios intervienen para transducir información significativa entre sistemas de signos sonoros y visuales.
REFERENCIAS
BERTHOZ, Alain, “Le sens du movement”, 1era edición, Paris, Odile Jacob, 1997 p.86-87, 229.
BRIZUELA, Mabel “Los procesos semiósicos del teatro”, 1era edition, Mungia, España, Ediciones Reichenberger, 2000, p.VIII.
DECETY, J., & GRÈZES, J. (1999). “Neural Mechanisms Subserving the Perception of Human Actions”, pp.172-178, en: Trends in Cognitive Science, vol.3, 1999.
DELANNOY, Luc “El espejo: ensayos sobre la conciencia musical seguidos de la consciencia inacabada”, 1era edición, México, Centro de Investigaciones en Neuroestética y Neuromusicología A.C. (CINNE), 2008, p.139.
DOLEZEL, Lubomir “Semiotics of Literary Communication” pp. 5-48, en: Strumenti Critici, vol. 1, num. 1, 1986.
GAMMERMAN A., VOVK V., VAPNIK, V., “Learning by transduction”, en: F. Cooper and S. Moral, Proceedings of Uncertainty in Artificial Intelligence, San Francisco, California, Eds. Morgan Kaufmann, 1998, pp. 148–155.
GODOY. Rolf Inge “Gestural Imagery in the Service of Musical Imagery” en: A. Camurri and G.Volpe (Eds.), Gesture-Based Communication in Human-Computer Interaction, Berlin, Springer Berlin / Heidelberg, 2004, p. 56.
HOLMES, Paul / COLLINS, David “The PETTLEP Approach to Motor Imagery: A Functional Equivalence Model for Sports Psychologists”, p.63, en: Journal of Applied Sport Psychology, vol. 13, num. 1, 2001.
KOWZAN T. (1969) “El signo en el teatro”, en: T. Adorno et al., “El teatro y su crisis actual”, Caracas, Monte Ávila 1992, p.45.
LEHAR, Steven, “Gestalt Isomorphism and the Primacy of Subjective Conscious Experience: A Gestalt Bubble Model” en: Behavioral & Brain Sciences, vol.26, num. 4, 1999, p.11.
LEVI, Howard “Elements of Algebra”, 1era edición, Nueva York, Chelsea Publishing Company, 1956, p.96.
MAESTRO, Jesús G., “Semiotics and Transduction: Materialistic Interpretation of Human Communication”, 1era edición, Pontevedra, Mirabel Editorial, 2005, p.2, 62.
NAIR, A.J., “Introduction to Biotechnology and Genetic Engineering”, 1era edición, Hingham, Massachusetts/New Delhi, India, Infinity Science Press LLC, 2008. p.311.
RIZZOLATTI, G. et al., “Neurons related to reaching-grasping arm movements in the rostral part of area 6 (area 6a)”, p.337- 350, en: Experimental Brain Research, vol. 82, num. 2, 1990.
SCHMIDT, R.A., “A schema theory of discrete motor skill learning”, pp. 225-260, en: Psychological Review, vol. 82, num. 1, 1975.
SEDES, A.; VERFAILLE, V.; COURRIBET, B., THIÉBAUT, J. B., “Visualisation de l’espace sonore, vers la notion de transduction”, pp. 125-143, en: A. Sedes, Espaces sonores, actes de recherches, Paris, Editions Musicales Transatlantiques, 2003.
UNIVERSITY OF OXFORD, “Oxford Dictionary of Science”, 5ta edición, Nueva York, Oxford University Press, 2005, p.672.
VAGGIONE, Horacio “Symboles, signaux, opérations musicales” Paris, MSH/Paris Nord, Université Paris VIII, 2006, p. 20.
YELIZAVETA, Marchenko; TAT-SENG, Chua; RAMESCH, Jain, “Ontology-based Annotation of Paintings using Transductive Inference Framework”, pp. 13-22, en: “Advances in Multimedia Modeling”, 13th Multimedia Modeling Conference Proceedings, MMM 2007, vol. 4351/2006, 2007.
No hay comentarios:
Publicar un comentario