Neuronen basteln

[stochri]

Biologische Neuronen funktionieren ganz anders als die Neuronen, die normalerweise in der KI verwendet werden.
Es ist ziemlich interessant, die Funktionsweise von biologischen Neuronen in elektronische Schaltungen umzusetzen und damit z.B. einen Roboter zu steuern. Damit erhält man Rechenwerke, die ganz anders als die üblichen Mikrocontrollerschaltungen funktionieren.

In dieser Anleitung gibt es ein paar praktische Schaltungsbeispiele, wie man so was angeht:

https://www.epubli.de/preview/92362

Ein paar Schmitttrigger oder NE555 reichen.

Was haltet Ihr davon?

[Rumgucker]

Hallo stochri,

gestern abend glaubte ich noch, dass ich ein Held bin, weil ich bei meinem "GI"-System erkannt hab, wie genau das "Feuern" ablaufen muss. Und nun lese ich bei Dir was von "spiking" und noch vieles andere, was ich zwar in meinem System anders benannt hab, was aber offensichtlich state-of-the-art ist.

Naja... wie Helmut schon schreibt. Es ist nicht falsch, das Rad neu zu erfinden. Dann hat man zumindest begriffen, warum es rund ist.

Viele Grüße

Wolfgang

[stochri]

gestern abend glaubte ich noch, dass ich ein Held bin, weil ich bei meinem "GI"-System erkannt hab, wie genau das "Feuern" ablaufen muss. Und nun lese ich bei Dir was von "spiking" und noch vieles andere, was ich zwar in meinem System anders benannt hab, was aber offensichtlich state-of-the-art ist.

Ich halte das Gebiet der "Spiking Neurons" ( die ich lieber Pulsneuronen nenne, damit es nicht so Denglisch klingt ) für das interessanteste Gebiet überhaupt.
Ich beschäftige mich jetzt seit 30 Jahren mit Computer und Mikrocontrollern und mittlerweile ist bei mir eine gewisse Langeweile eingetreten, weil sich die Grundfunktionen der CPUs eigentlich nie wirklich geändert hat. Statt 8- gibt es 32- oder 64 Bit, Pipelining, Multicore, DSP-Funktionen, Branch-Prediction, SIMD Instruktionen und was weiß ich nicht noch alles. Aber grundlegend Neues war nie dabei. Selbst die ganzen neuronalen Netze werden auf klassischen Rechnerstrukturen gerechnet ( auch in den KI-Beschleunigern der FPGAs und MCUs ).
Mit den Pulsneuronen ändert sich das: Hier tut sich im Moment gerade ein riesiges Fenster auf. Die Verarbeitung funktioniert dort vollständig anders und sie wird in der obigen Schrift ziemlich kompakt zusammen gefasst.

Wenn man allerdings die Frage nach der Anwendbarkeit der Pulsneuronentechnik stellt, dann ist das ein wenig wie beim Verbrennungs- gegen Elektromotor: Der Verbrennungsmotor liegt vorne, weil er einfach eine viel längere Entwicklungsgeschichte hinter sich hat. Genau so ist es mit der KI: die klassische Rechnertechnik wird noch eine Ganze Zeit einen Vorsprung haben ( aufgrund der hoch optimierten Hardware ), wer sich aber für die nächste Generation interessiert, der sollte sich mal die Pulsneuronen ansehen.
Das Schöne bei den Pulsneuronen ist auch, dass noch nicht alle Verfahren bekannt sind. Hier tut sich als ein großes, ergiebiges Gebiet für eigene Experimente auf.

[Rumgucker]

Hallo stochri,

die Nerven in der Natur arbeiten simultan und ihre Dendriten können wachsen und verkümmern.

Parallelität geht mit CPLD/FPGA - aber nur ganz wenig. Und Dendriten-Wachstum können CPUs mühsam mit ihren GPU-Matrizenmultiplikationen simulieren. Leider gibts noch keine FPGA-GPUs, so dass die Lösung beider Probleme auf einen Schlag gelingt.

Die Struktur unserer Chips passt einfach nicht richtig zur Natur. Daran können auch die Pulsneuronen nicht wirklich was verbessern, denn sie verbessern nicht die beiden großen Einschränkungen.

Entweder man konstruiert Chips, die die Hirne besser nachbilden können oder man erschafft sich ein gänzlich neuartiges Verarbeitungsmodell. Wendet sich also ab von der Nachahmung der Natur und hin zu einer Darstellung, die besser zu den vorhandenen Chips passt.

Viele Grüße

Wolfgang

[HaWe]

Das stimmt (Nerven in der Natur) : ihre Dendriten können wachsen und verkümmern.
Bei Feed-Forward und Backpropagation-NNs macht man das so, dass man zunächst alle möglichen denkbaren Verbindungen ("Dendriten") aufspannt, und dann im Training entweder einzelne Verknüpfungen aktiviert ("wachsen") oder deaktiviert ("absterben" lässt). "Abgestorbene" Dendriten haben dann ein Aktivierungsgewicht=0, sie können aber bei neuem Training erneut aktiviert werden ("neu wachsen") oder bislang aktivierte dann auch deaktiviert werden ("absterben").

Parallelität/Simultanität von Funktionen und Prozessen ist bei single-Thread Programmen nicht möglich, Pseudoparallelität auf Singlecore-cpus geht aber mit preemptivem Multithreading (z.B. pthread oder std::thread) und echte Paralleltät geht auf Multicore-cpus (ebenfalls pthread oder std::thread, z.B. auf Dualcore ESP32 oder Quadcore-Raspis).

[stochri]

die Nerven in der Natur arbeiten simultan und ihre Dendriten können wachsen und verkümmern.

Parallelität geht mit CPLD/FPGA - aber nur ganz wenig. Und Dendriten-Wachstum können CPUs mühsam mit ihren GPU-Matrizenmultiplikationen simulieren. Leider gibts noch keine FPGA-GPUs, so dass die Lösung beider Probleme auf einen Schlag gelingt.

Genau so ist es. Im SNN-Pulsneuronenbuch wird das ziemlich genau heraus gearbeitet. Dort werden ein paar Neuronen im FPGA implementiert um zu sehen, wie viele Logikblöcke sie brauchen. Allerdings merkt man bald, dass FPGAs ( obwohl sehr flexibel und schnell ) doch strukturelle Einschränkungen haben. Deshalb beschäftigt sich die Arbeit auch mehr mit verschiedenen Analogschaltungen, welche die Neuronen nachbilden.

Die Struktur unserer Chips passt einfach nicht richtig zur Natur.

Soweit OK, aber

Daran können auch die Pulsneuronen nicht wirklich was verbessern, denn sie verbessern nicht die beiden großen Einschränkungen.

Das wiederum sieht man anders, wenn man das SNN-Pulsneuronenbuch gelesen hat. Die Neuronen selbst sind ja nicht die Verkabelung.

Entweder man konstruiert Chips, die die Hirne besser nachbilden können oder man erschafft sich ein gänzlich neuartiges Verarbeitungsmodell. Wendet sich also ab von der Nachahmung der Natur und hin zu einer Darstellung, die besser zu den vorhandenen Chips passt.

Das wiederum ist richtig. Es gibt ziemlich intensive Forschungsanstrengungen von IBM und Intel zu Struktur neuer Chips, die ebenfalls im SNN-Pulsneuronenbuch beschrieben werden.

[HaWe]

Neuronen-Netze in der Natur sind allerdings auch nicht immer identisch gebaut oder gar lernfähig wie die in Wirbeltieren:
Der Fadenwurm Caenorhabditis elegans z.B. hat ein neuronales Netz aus ca. 300 Nervenzellen, die NICHT lernfähig sind (Ihre Verbindungen samt Gewichten sind/werden fest vererbt (CMIIW) ): so gesehen sind lernfähige KNN diesen sogar in dieser Beziehung überlegen.
Sein Nervensystem wurde inzwischen auch schon komplett als KNN nachgebaut.

In Wirbeltieren allerdings gibt es neben lernfähigen Neuronen samt ihrer neu wachsenden und/oder absterbenden Dendriten durchaus auch neu wachsende Nervenzellen (aus Stammzellen), und ntl können sie auch unwiederbringlich endgültig absterben, und außer trainierbaren, hemmenden oder aktivierenden Zwischenneuronen gibt es auch noch hemmende oder aktivierende Gliazellen, die ebenfalls wachsen oder sterben können, aber nicht trainierbar sind.
Wie man sieht, ist alles deutlich komplizierter als man auf den ersten Blick denken mag

[Rumgucker]

Hallo stochri,

gepulste neuronale Netze gibts angeblich schon seit 1952. Das scheint nur eine spezielle Spielart von ganz vielen zu sei. Aber interessanter Satz in Wikipedia:

So ist beispielsweise nicht abschließend geklärt, ob die Informationen durch die Feuerrate oder durch eine zeitliche Codierung übertragen werden.

Beim GI hab ich erkannt, dass die zeitliche Nähe eines Impulses an einer kurz vor dem Abfeuern stehenden hocherregten Zelle wichtig ist. So hat das Neuron eine Chance, sich an die Axone anzukoppeln, deren Impulse ihr bestmöglich "nützlich" sind.

Ein Autofahrer dreht das Lenkrad nicht nach links, weil er am gleichen Morgen die Milch vor die Tür gestellt bekam, sondern weil ihm ne halbe Sekunde vorher ein Kind von rechts vor den Wagen lief.

Diese Information "Kind kommt von rechts" befindet sich nicht unbedingt in der Schicht davor, sondern kann sich irgendwo in einem ganz anderen Cluster des Hirns befinden. Wahrscheinlich sogar sehr nah dran an den Sensoren, denn eine Mustererkennung "Kind" oder "Auto" oder "Oma" oder "Tiger" ist eigentlich unbedeutend. Wichtig ist doch nur, dass "etwas" von rechts kommt, dem ich ausweichen muss.

Weiterhin erkennt man bei diesem Gedankenexperiment, dass es nicht nur auf zeitliche Korrelation sondern auch auf Deltas ankommt. "Es kommt etwas von rechts" ist viel wichtiger als die Information, dass "rechts etwas steht". Unser Hirn scheint also auf den unteren Ebenen viel mit Differentiation zu arbeiten. Diese Impulsflanken müssen zeitlich exakt sein.

Viele Impulse entstehen im Netzwerk automatisch, weil auch andere Zellen in angespannter Situation gleich mitfeuern. Ein vors Auto springendes Kind kann ein regelrechtes Nervengewitter auslösen, bei dem man sein ganzes Leben an sich vorbeihuschen sieht. Ob eine Zelle bei Erregung mehrfach feuern muss, weiß ich noch nicht so genau. In der fehlerhaften Natur sicher. Aber auch in einem störungsfreien Computer, bei dem jede Aktivität das Netzwerk belastet?

Auf höheren, abstrakteren Ebenen des Hirns gehts dagegen nicht mehr um Impulse. Da scheints um ruhige Integration zu gehen. Hier "reifen" Pläne und Strategien. Von dem Areal bin ich noch ganz weit weg. Außerdem müsste man, um sowas programmieren zu können, intelligenter als das Objekt sein. Da komm ich schnell an meine Grenzen. Aber Impulse spielen "da oben" nicht mehr die Rolle, wie in den untereren animalischeren Regionen der Nerverei.

Spiked neuronal networks sind in meinen Augen nicht die universellen Problemlöser. Sie werden einige Spezialaufgaben gut lösen können. Nach meinem Dafürhalten in den zeitkritischen Bereichen. Auch das simple Perceptron löst einige Spezialaufgaben bestens. Hauptsächlich im Bereich der Mustererkennung. Und andere Topologien werden auch ihre speziellen Domänen nachgewiesen haben.

Gesucht ist aber eine Standardlösung. Seit zig Jahrzehnten.

Viele Grüße

Wolfgang