Verwendung photorealistischer visueller Bilder zum Verständnis der neuronalen Integration visueller Hinweise auf Tiefe und Form im ventralen Pfad des Primatengehirns.

Die Organisation des Nervensystems für die visuelle Erkennung von Objekten wird oft für hierarchisch gehalten. Nervenzellen in der Nähe der Spitze der Hierarchie können typischerweise nur durch komplexe und sinnvolle Reize aktiviert werden, während Nervenzellen weiter unten in der Hierarchie durch spezifische Verteilungen von Luminanzintensitäten in dem vom Auge empfangenen Bild aktiviert werden. Die Kodierung von Informationen in den höheren Stufen ähnelt der Wahrnehmung des Objekts selbst, während das Aktivitätsmuster in den frühesten Stufen einer einfachen Transformation des ursprünglichen Bildes gleicht.

Das "harte Problem" für die visuelle Verarbeitung findet in den kritischen Zwischenstadien statt, wo die Transformation vom Bild zum Objekt stattfindet. Dieses Projekt wird sich mit zwei dieser Stadien in den ventralen visuellen Pfad der Großhirnrinde des Makaken beschäftigen: dem vierten visuellen Bereich (V4) und der posterior inferotemporal (PIT) Region. Dieses Projekt wird zwei neue technologische Entwicklungen einführen, um die Rolle dieser Bereiche bei der Sehverarbeitung zu untersuchen. Erstens werden neue Designs von Mikroelektroden eingesetzt, die die gleichzeitige Aufzeichnung von bis zu mehreren hundert Neuronen ermöglichen. Zweitens wird das Projekt eine neue Methode zur Erzeugung fotorealistischer Bilder von erkennbaren Objekten nutzen, die eine gezielte Manipulation verschiedener Informationsquellen über die Größe, Form und Struktur des betrachteten Objekts ermöglicht.

Ein wichtiges Ziel ist die Erforschung der Reaktionen von Neuronen mit voller Kontrolle über den binokularen Bildinhalt. Beim Betrachten fester Objekte sehen Makakenaffen das zu betrachtende Objekt direkt mit dem empfindlichsten Teil der nach vorne gerichteten Augen, wobei sie die beiden Augen nach innen drehen, um nahe Objekte zu betrachten, genau wie Menschen. Diese Art des Sehens liefert Informationen über die binokulare Tiefe, die als Stereopsis bezeichnet wird. Meine Forschungsgruppe hat kürzlich die Reaktionen der V4- und PIT-Neuronen auf die binokulare Tiefe sehr detailliert untersucht. Bei den visuellen Stimuli, die für diese bestehenden Experimente verwendet wurden, wurden jedoch künstliche Muster von Punkten verwendet, die sich hervorragend dazu eignen, die Reaktion auf die binokulare Tiefe in reiner Form zu isolieren, aber das Sehen nicht mit naturalistischen Stimuli untersuchen.

Vor den neurophysiologischen Aufnahmen werden die Makaken darauf trainiert, mit den fotorealistischen Bildern Unterscheidungsaufgaben zu erfüllen, bei denen die 3-D-Form oder Konfiguration des dargestellten Objekts subtil verändert wird. Dieser Ansatz stellt sicher, dass die Aufmerksamkeit der Tiere voll und ganz auf die Bilder und die Aufgabe gerichtet ist. Die parallele Erfassung von Aufnahmen von mehreren Neuronen wird in vollem Umfang genutzt werden, um moderne Theorien der Informationsrepräsentation im Nervensystem zu testen.

Using photorealistic visual images to understand the neuronal integration of visual cues for depth and shape in the ventral stream pathways of the primate brain.

The organization of the nervous system for the visual recognition of objects is often thought to be hierarchical. Nerve cells near the top of the hierarchy can typically be activated only by complex and meaningful stimuli, whereas nerve cells low down in the hierarchy are activated by specific distributions of luminance intensities in the image received by the eye. The encoding of information in the high-level stages resembles perception of the object itself, whereas pattern of activity in the earliest stages resembles a simple transformation of the original image.

The “hard problem” for visual processing takes place in the critical, intermediate stages, where the transformation from image to object takes place. This project will concern itself with two of these stages in the ventral visual pathways of the macaque cerebral cortex: the fourth visual area (V4) and the posterior inferotemporal (PIT) region. This project will adopt two new technological developments to address the role of these areas in visual processing. First, new designs of microelectrodes will be employed, which allow the recording of up to several hundreds of neurons simultaneously. Second, the project will exploit a new method of creating photorealistic images of recognizable objects, which allows specific manipulation of different sources of information about the size, shape and structure of the viewed object.

An important goal is to explore the responses of neurons with full control over the binocular image content. When viewing solid objects, macaque monkeys directly view the object of interest with the most sensitive portion of forward-facing eyes, rotating the two eyes inwards to view near objects, just like humans do. This mode of vision provides information about binocular depth, called stereopsis. My research group has recently studied the responses of V4 and PIT neurons to binocular depth in considerable detail. However, the visual stimuli used for these existing experiments used artificial patterns of dots, which are excellent for isolating the response to binocular depth in a pure form, but do not probe vision with naturalistic stimuli.

Prior to the neurophysiological recordings, the macaques will be trained to perform discrimination tasks with the photorealistic images, in which the 3-D shape or configuration of the portrayed object will be subtly altered. This approach will ensure that the animals’ attention is fully engaged with the images and the task, which will allow us to reveal the most sensitive components of the neuronal responses. Full advantage will be taken of the parallel capture of recordings from multiple neurons to test modern theories of information representation in the nervous system.