Neuronale Netzwerke und Lernen

Die Neuroinformatik ist ein Wissenschaftszweig, der sich mit der Erforschung von Informationsprozessen in neuronalen Netzwerken (d.h. insbesondere im menschlichen Gehirn) beschäftigt. Sie ist somit irgendwo zwischen Informatik, Biologie und Psychologie angesiedelt. Der folgende Beitrag versucht zunächst den Begriff des neuronalen Netzes kurz zu beschreiben, dann die Unterschiede zwischen neuronalem Netz und Computer zu erklären und schließlich wichtige Folgerungen für das Lernen aufzuzeigen. Dadurch ist es möglich eine Reihe von Regeln zur Optimierung des Lernens aus dem Feld der naturwissenschaftlichen Forschung abzuleiten und es können gesicherte pädagogische Richtlinien aufgestellt werden.

Grundzüge des Modells

Neuronale Netze können als technische Modelle der Gehirnfunktionen verstanden werden. Im Mittelpunkt stehen die Nervenzellen und ihr Zusammenwirken im Zentralnervensystem. Eine Nervenzelle (auch Ganglienzelle oder Neuron genannt) besteht wie jede lebende Zelle aus einem Zellkörper, der von seiner Umgebung durch eine Zellmembran abgegrenzt ist. Ihr Aufbau weicht jedoch in auffälliger Weise von dem aller anderen Zellen ab. Der Zellkörper trägt eine große Anzahl kurzer, stark verzweigter Auswüchse, die als Dendriten bezeichnet werden. Ein weiterer Auswuchs, Axon oder auch Neurit genannt, kann sehr lang werden (bis ca. 1 m) und teilt sich an seinem Ende in viele Zweige auf, die jeweils durch eine sogenannte Synapse abgeschlossen sind. Jede Synapse ist, getrennt durch den dünnen synaptischen Spalt, mit dem Zellkörper oder einem Dendriten einer anderen Nervenzelle verbunden. Das hat zur Folge, dass jede Nervenzelle mit Tausenden von Synapsen bedeckt ist, wodurch eine hochgradige Vernetzung entsteht.

Die synaptischen Verbindungen ändern sich im Lauf der Zeit. Synapsen können wachsen, verkümmern oder sogar ganz verschwinden. Auch kann ein Axon neue Zweige mit den zugehörigen Synapsen ausbilden und dadurch mit weiteren Nervenzellen in Kontakt treten. Viele Untersuchungen haben gezeigt, dass die synaptische Verbindung zweier Neuronen umso stärker wird, je häufiger die beiden Neuronen gemeinsam aktiv sind. Das bedeutet eine Zunahme der Anzahl der Transmitter- und Rezeptormoleküle an der Synapse. Bei Inaktivität verkümmert die Verbindung. Nur am Rande sei die eigentümliche Parallelität erwähnt, die zwischen der Partnerschaft von Nervenzellen und sozialen Beziehungen besteht. Jedenfalls führen diese synaptischen Prozesse zu Änderungen im Verhalten des Nervensystems, also zu Lernvorgängen im weitesten Sinne. Lernen beruht somit auf Modifikationen an den Synapsen.

Die Funktionsweise einer einzelnen Nervenzelle ist weitgehend bekannt. Grundlage ist eine elektrische Spannung der Zellmembran gegenüber ihrer Umgebung, das sogenannte Membranpotential. Im Ruhezustand hat die Nervenzelle ein einheitliches Membranpotential von -70 mV. Solange die Zelle nicht von außen angeregt wird, verharrt sie in diesem Zustand. Wird ihr Membranpotential an mindestens einer Stelle über einen bestimmten Schwellwert hinaus erhöht (auf -60 mV), so kommt durch Ionenverschiebungen eine Kettenreaktion in Gang, die zu einer schlagartigen Erhöhung des Membranpotentials auf etwa +30 mV führt. Durch Ausgleichsvorgänge kehrt die Zelle innerhalb einiger Millisekunden wieder in ihren Ruhezustand zurück.

Diese kurze Spannungsspitze, welche den Erregungszustand der Nervenzelle kennzeichnet, nennt man Aktionspotential: die Zelle feuert. Das Aktionspotential pflanzt sich längs des Axons fort und erreicht schließlich die Synapsen. Diese werden zur Ausschüttung bestimmter chemischer Substanzen, den Neurotransmittern, veranlasst, die über die synaptischen Spalten zu spezifischen Rezeptorstellen an anderen Nervenzellen gelangen und deren Membranpotential erhöhen. Wenn an einer Nervenzelle genügend viele Synapsen gleichzeitig aktiviert sind, dann wird hier ebenfalls ein Aktionspotential ausgelöst. Dann kommt es zur Weiterleitung der elektrochemischen Erregung über mehrere Neuronen hinweg.

Neben den Synapsen, die das Membranpotential erhöhen, also erregend wirken, gibt es auch hemmende Synapsen, die das Membranpotential erniedrigen und so der Aktivierung einer Nervenzelle entgegenarbeiten. Diese Hemmungsmöglichkeit ist für die Stabilität des Nervensystems wesentlich. Eine wichtige Rolle spielen hier die Neuro-transmitter, von denen es somit erregende und hemmende, aber auch schnelle und langsame gibt. Ohne sie ist keine Aktivität im Nervensystem, keine Wahrnehmung, kein Gedächtnis und kein Denken möglich. Je nach ihrem Ausschüttungsort und ihrer Ausschüttungsmenge sind sie für die Entstehung unserer Gefühle, wie Lust, Angst und Depression verantwortlich. Hier liegen auch die Ansatzstellen für Suchtmittel und Psychopharmaka, die unser Gefühlsleben wirksam verändern können.

Damit ein Organismus lebensfähig ist, muss sein Nervensystem mit seiner Umgebung in Verbindung treten. Reize von der Außenwelt werden durch Sinneszellen aufgenommen, dort in elektrochemische Erregungen umgewandelt und über afferente Axone an das zentrale Nervensystem weitergeleitet. Umgekehrt regen efferente Axone, die von bestimmten Steuerzentren im Gehirn kommen, die Muskelzellen zur Kontraktion an, wodurch es zu Handlungen in der Außenwelt kommt.

Die Aktionspotentiale einer Nervenzelle sehen alle gleich aus. Entweder feuert eine Zelle (Signal 1) oder sie feuert nicht (Signal 0). Diese Tatsache bezeichnet man als "Alles-Oder-Nichts-Gesetz". Die Informationen, die im Nervensystem verarbeitet werden, sind also nicht durch die Größe der Spannungen, sondern durch die zeitlichen Abstände der Aktionspotentiale codiert. Das Nervensystem arbeitet demnach mit Frequenzmodulation.

Zum Begriff des neuronalen Netzes gelangt man, wenn man die beschriebenen neurobiologischen Vorgänge zu einem stark vereinfachten abstrakten Modell zusammenfasst. Dabei wird von den im Zelleninneren befindlichen Strukturen und den dort ablaufenden biochemischen Reaktionen abgesehen. Dieses Modell wird durch folgende Regeln beschrieben:

[1] Aufbau einer Nervenzelle: Eine Nervenzelle besitzt viele Eingänge, nämlich die synaptischen Verbindungen, und einen Ausgang, nämlich das Axon.

[2] Zustände einer Nervenzelle: Eine Nervenzelle kann zwei Zustände annehmen: den Ruhezustand (Signal 0) und den Erregungszustand (Signal 1).

[3] Verbindungen der Nervenzellen untereinander: der Ausgang einer Nervenzelle führt über Synapsen zu den Eingängen anderer Nervenzellen.

[4] Eingänge des Nervensystems: Einige Nervenzellen (z.B. Sinneszellen) können durch Umweltreize erregt werden (Input).

[5] Ausgänge des Nervensystems: Einige Ausgänge von Nervenzellen wirken über Muskelzellen auf die Umwelt ein (Output).

[6] Erregungsbedingung: Eine Nervenzelle geht in den Erregungszustand über, wenn genügend viele ihrer Eingänge mit erregten Nervenzellen verbunden sind, was als Aktivierungsschwelle bezeichnet wird.

[7] Unabhängigkeit der Nervenzellen: Der Zustand einer Nervenzelle ist allein durch die Verhältnisse an ihren Eingängen bestimmt. Die einzelnen Zellen arbeiten also unabhängig voneinander.

Ersetzt man in diesem Modell das Wort "Nervenzelle" durch "Verarbeitungselement" bzw. "Speicherlement", so erinnert nichts mehr an ein biologisches Nervensystem. Damit kann man dem Modell eine technisch anmutende Interpretation geben und erhält so den Begriff des neuronalen Netzes. Ein solches Netz besteht aus einfachen Verarbeitungselementen, die über das ganze System verteilt sind und unabhängig voneinander ("parallel") arbeiten. Diese Arbeitsweise lässt sich unter dem Begriff der parallel verteilten Informationsverarbeitung zusammenfassen.

Neuronale Netzwerke sind Modelle dafür, wie sich Neuronen im Gehirn verhalten. Mit entsprechenden Programmen lassen sich verschiedene neuronale Prozesse am Computer simulieren. Zu diesen Prozessen, die grundlegend für die Arbeitsweise unseres Gehirns sind, zählen Mustererkennung, Kategorienbildung (Abstraktion), Lernen und Gedächtnis, Sprache, emotionale Bewertungen und Entscheidungen. Die Anwendungsgebiete solcher neuronaler Netzwerk-Modelle sind vielfältig: in der naturwissenschaftlichen Forschung, in Technik, in Medizin und Psychologie.

Unterschiede zwischen Gehirn und Computer

An dieser Stelle muss unbedingt gesagt werden, dass neuronale Netzwerke anders arbeiten als herkömmliche Computer. Diese Unterschiede in der Informations-Verarbeitung sollen im Folgenden kurz erläutert werden.

[1] Im Computer werden die einzelnen Informationen (d.h. Bitfolgen, also Folgen von den Signalen 0 und 1) hintereinander verarbeitet. Im Gegensatz zu dieser seriellen Bearbeitung erfolgt im neuronalen Netz die Verarbeitung der Signalmuster parallel.

[2] Die Geschwindigkeit der Signalverarbeitung an den Schaltelementen (z.B. Transistoren) eines Computers liegt im Bereich von Millionsteln von Sekunden, hingegen bei den Neuronen des Gehirns im Bereich von nur einigen Tausendsteln von Sekunden. Diese langsame Geschwindigkeit der Signalverarbeitung durch ein biologisches Neuron wird andererseits wieder ausgeglichen durch die parallele Informationsverarbeitung von mehreren Neuronen.

[3] Computer bestehen aus einigen Millionen von Schaltelementen, das Großhirn enthält über 20 Milliarden Neuronen. Ein Schaltelement des Computers hat nur wenige Verbindungsanschlüsse, ein Neuron kann bis zu 10000 Synapsen aufweisen. Die Vernetzungsdichte neuronaler Netze ist ungleich höher als bei einem Computer.

[4] Die Hardware moderner Computer muss absolut zuverlässig und fehlerlos sein. Ein kleiner Schaden und schon steht der Computer. Computer sind daher intolerant gegenüber Fehlern. Ganz anders hingegen neuronale Netze. Der Ausfall einzelner Neuronen führt nicht zum Totalausfall, sondern bewirkt nur einen langsamen Leistungsabfall. Neuronale Netze sind fehlertolerant.

[5] Die Hardware eines Computers kann durch die Eingabe von Inputmustern nicht verändert werden, sehr wohl aber die Vernetzungsdichte in neuronalen Netzwerken. Das Gehirn kann auf Inputveränderungen mit Anpassungen seiner Hardware reagieren (Neuroplastizität). So sind beispielsweise bei Musikern jene motorischen Areale der Großhirnrinde, welche für die Steuerung der entsprechenden Handbewegungen verantwortlich sind, deutlich stärker vernetzt als bei anderen Menschen. Bei blinden Menschen, die häufig mit ihren Fingern Blindenschrift lesen, sind die entsprechenden sensorischen Areale in der Großhirnrinde deutlich vergrößert und dichter vernetzt.

[6] Im Computer erfolgt eine genaue Unterscheidung von Daten und Adressen. Daten werden an Adressen abgespeichert und von dort wieder aufgerufen. Daten werden von im Zentralprozessor ablaufenden Programmbefehlen bearbeitet. In neuronalen Netzen gibt es diese Trennung von Adressen, Daten und Befehlen nicht. Die gespeicherten Inhalte sind mit ihren Adressen identisch. Die Daten werden durch veränderte Synapsenstärken an bestimmten Orten im Netz repräsentiert. So entstehen im Netz Landkarten der Außenwelt. Die Datenverarbeitung in neuronalen Netzen wird nicht durch Befehle eines Supervisors programmiert, sondern folgt lediglich den Mechanismen des Feed-Backs und der Assoziation.

Feed-Back und Selbst-Organisation

Die Kernfrage lautet: Wie ist es möglich, dass es zu einer Änderung der synaptischen Verbindungsstärken und zur Ausbildung von Landkarten der Außenwelt in bestimmten Arealen des Gehirns kommt ? Grundsätzlich muss unterschieden werden, ob ein Trainer das Lernen überwacht oder nicht. Im ersten Fall spricht man von angeleiteten Netzwerken. Sie lernen in kleinen Schritten durch Rückmeldung von Fehlern (Feed-Back) und Minimierung der Fehler. Über Erfolg oder Mißerfolg seines Input-Output-Verhaltens wird das Netzwerk durch einen Trainer informiert. Im zweiten Fall gibt es keinen Trainer, das Netzwerk lernt durch Selbstorganisation. Diese erfolgt nach Mechanismen der Assoziation: Erstens wird die Verbindung zweier Neuronen dann gestärkt, wenn sie häufig gleichzeitig aktiv sind; Zweitens erregt ein aktives Neuron seine direkten Nachbarn, während weiter entfernte Neuronen inaktiv bleiben. Wenn nun dem neuronalen Netz eine vorgegebene Menge von Inputmustern wiederholt dargeboten wird, dann organisiert sich das Netz in der Weise, dass bestimmten Inputmustern bestimmte Neuronengruppen zugeordnet werden, welche immer dann feuern, wenn entsprechende Inputmuster auftreten. Dadurch entsteht im Netzwerk eine Landkarte der Reizumwelt. So werden Mustererkennung und damit Wahrnehmung und Identifizierung von Objekten möglich. Das folgende Beispiel soll diesen Sachverhalt erläutern.

Die beiden Wissenschaftler T. Kohonen und H. Ritter entwickelten im Jahr 1989 ein Computerprogramm, welches ein selbstorganisierendes neuronales Netzwerk zur Spracherkennung simuliert. Das Netz besteht aus 100 Speicherelementen, die als eine quadratische 10 x 10 - Matrix angeordnet sind. Auf die innere Struktur und Funktionsweise diese Netzwerkes kann hier nicht näher eingegangen werden, wohl aber auf seine erstaunlichen Leistungen. Vorgegeben ist eine Menge von 16 Tiernamen (Adler, Ente, Fisch, Hund, Kuh, Pferd, Wolf, . . . ), wobei jedes Tier durch genau 13 Merkmale charakterisiert ist (groß, klein, vierbeinig, zweibeinig, fliegt, läuft, schwimmt, . . . ). Ein Input für ein Tier ist ein Merkmalsvektor, der 13 Zahlen enthält, die entweder 1 oder 0 sind, je nachdem ob das Tier das entsprechende Merkmal aufweist oder nicht. Nach 2000 solcher Inputs hat sich das Netz bereits stabil organisiert, so dass jedes Tier durch ein Speicherelement im Netz repräsentiert wird, d.h. bei Eingabe des Merkmalsvektors eines bestimmten Tieres feuert nur ein bestimmtes Speicherelement. Ob ein Element aktiv oder stumm ist, wird wieder durch den binären Code 1 oder 0 gekennzeichnet. Außerdem sind Tiere mit ähnlichen Merkmalen durch benachbarte Elemente im Netz repräsentiert, während die Speicherelemente von unähnlichen Tieren weit voneinander entfernt liegen. Diese Computersimulation zeigt beeindruckend, dass neuronale Netze entwickelt werden können, welche selbständig die Erkennung von sprachlichen Bedeutungen lernen. Solche Netze sind offenkundig in der Lage aus der Vielfalt von wohl strukturierten Reizen semantische Kategorien zu bilden, d.h. die Repräsentationen der Reize im Netz nach deren Bedeutungen anzuordnen. Neuronale Netzwerke sind somit zur abstrakten Begriffsbildung fähig. Das aber ist die Grundlage unseres Denkens.

Folgerungen für die Lernpraxis

Aus den vielen, faszinierenden Erkenntnissen der modernen Netzwerkforschung lassen sich fünf wichtige Konsequenzen für die Lernpraxis unserer Kinder ziehen.

[1] Kinder lernen spielend

Das Lernen beruht im Wesentlichen darauf, dass Input-Output-Beziehungen (d.h. Reiz-Reaktions-Verhaltensweisen) immer wieder durchgespielt werden und die Synapsenverbindungen im Netzwerk sich langsam so verändern, dass die Wahrscheinlichkeit des richtigen Outputs immer größer wird. Wie kann Lernen aber stattfinden, wenn die Konsequenz eines falschen Outputs zum Tod des Organismus führt ? Das Erlernen solcher lebenswichtiger Verhaltensweisen ist offenbar nur dann möglich, wenn sie ohne Schaden für den Organismus, gleichsam vor dem Ernstfall, immer wieder geübt werden können. Genau das aber ist Sinn und Zweck des Spielens.

[2] Kinder lernen an guten Beispielen

Beispiele (Inputmuster) sind aus der Sicht des Lernerfolges im neuronalen Netzwerk dann gut, wenn sie sich mit konstanter innerer Strukturierung häufig wiederholen. Kinder brauchen Struktur und Konstanz. Nichts ist schädlicher als chaotischer Input, denn wenn der Input keine Regelhaftigkeit aufweist, können keine Muster erkannt und daher kein geordneter Output produziert werden.

[3] Kinder lernen durch das Wahrnehmen der Handlungsfolgen

Nur wenn dem neuronalen Netzwerk der Fehler eines Outputs rückgemeldet wird, können die Netzwerkverbindungen entsprechend angepasst werden. Unterbleibt ein solches Feed-Back, kann das Netz nicht modifiziert werden. Das unterstreicht die Wichtigkeit eines systematischen Feed-Backs. Gute Vorbilder einerseits und die deutliche Präsentation positiver wie negativer Handlungsfolgen andererseits dienen der Grenzsetzung für das kindliche Verhalten. Kinder brauchen Grenzen. Nur dadurch lernen sie Befriedigungsaufschub und Frustrationstoleranz.

[4] Praktizieren statt Predigen

Die eigentliche Arbeitsweise von neuronalen Netzen besteht darin, dass dem Netz keine explizite Regel einprogrammiert wird, sondern das Netz durch regelhafte Inputmuster und durch dauernde Fehlerrückmeldung die Regelhaftigkeit des Inputs selbst erkennt. Eine Abstraktionsleistung besteht darin, dass invariante Inputmerkmale durch verstärkte Neuronenverbindungen im Netz repräsentiert werden. Gehirne sind Regel-Erkennungs-Maschinen. Wird die zu erkennende Regel vom Trainer bereits vorgesagt, dann unterbleibt die eigentliche Arbeit des Netzwerkes. Predigen und Schimpfen erweisen sich somit als ineffiziente Trainingsmethoden. Viel wirkungsvoller ist dagegen das Praktizieren von guten Beispielen. Das Einzige, was beim Predigen und Schimpfen vom Gehirn gelernt wird, ist nicht der vorgesagte Inhalt, sondern die Erkenntnis, dass in der Welt irgendwer immer predigt und schimpft. Nicht die wohlgemeinte Botschaft der elterlichen Rüge wird gemerkt, sondern nur dass die Eltern rügen.

[5] Kinder brauchen Zeit

Im neuronalen Netzwerk sichern nur kleine Veränderungen der Synapsenstärken zwischen den Neuronen die gewünschte Anpassung des Outputs. Diese aber brauchen Zeit. Nur eine langsame Lerngeschwindigkeit führt zu stabilen Modifikationen. Der Trainer ist daher aufgefordert, Geduld und Nachsicht zu üben.

Diese beschriebenen Mechanismen werden in jeder Lernsituation wirksam. Darüber hinausgehend sollten zur Optimierung des Lernens die Erkenntnisse der Gedächtnispsychologie berücksichtigt werden. Wesentlich dabei ist die Tatsache, dass beim Lernen spezifische Erregungsprozesse in beteiligten Neuronengruppen Veränderungen an den Synapsen hervorrufen. Das ist die Grundlage unseres Gedächtnisses. Werden nun die, einem Erlebnisinhalt zugeordneten neuronalen Prozesse während ihrer aktiven Zeitdauer durch andere intensive Erregungsvorgänge gestört, dann wird die Einspeicherung deutlich beeinträchtigt.

Zur Vermeidung solcher Erregungskollisionen, die zu Gedächtnishemmungen führen können, sollten einige einfache Lernregeln beachtet werden, welche der Optimierung des Lernens dienen. Die wichtigsten Grundregeln sind, dass der Lernstoff mengenmäßig in kleine Portionen zerlegt wird, und dass die Lernwiederholungen während einer längeren Zeitspanne gestreut erfolgen (Stoffaufteilung und zeitliche Streuung). Ein häufiger Fehler ist die Überschätzung der Lernkapazität durch die Zumutung einer viel zu umfangreichen und ungegliederten Stoffmenge. Aus informationstechnischer Sicht kommt es dabei zu einer Überlastung der Eingangskanäle und der Verarbeitungszentren.

Logische Einsicht in den größeren Zusammenhang (Wissensverankerung), innere Motivation und ein angenehmes emotionales Klima, Lernpausen zum körperlich-motorischen Ausgleich und die Verwendung von mehreren Sinneskanälen zur Informationseingabe (Multimedia) sind sehr förderliche Faktoren. Auch eine möglichst anschauliche Stoffdarbietung mit deutlicher Hervorhebung der gewünschten Kerninformationen und eine klare, einfache sprachliche Ausdrucksweise sind wichtig.

Schließlich wurde nachgewiesen, dass die allgemeine Lernleistung ihr Maximum nur bei mittlerem Aktivierungsniveau erreicht; eine zu hohe Aktivierung des Organismus (Stress) führt zur Desorganisation. Bestimmte im Stress ausgeschüttete Hormone wirken dabei inhibitorisch auf jene Neuronengruppen im Gehirn (Hippocampus), welche für das Gedächtnis wichtig sind. Starke Aufregung und Angst wirken daher hemmend auf die Leistungen des Gehirns in Lern- und Prüfungssituationen. Vorteilhaft erweisen sich Entspannungstechniken (z.B. die progressive Muskelentspannung nach Jacobson), welche das individuelle Aktivierungsniveau senken, so dass es dann bei einsetzendem Lern- bzw. Prüfungsstress nicht über mittlere Werte hinaus ansteigt.