Biologische Neuronen funktionieren ganz anders als die Neuronen, die normalerweise in der KI verwendet werden.
Es ist ziemlich interessant, die Funktionsweise von biologischen Neuronen in elektronische Schaltungen umzusetzen und damit z.B. einen Roboter zu steuern. Damit erhält man Rechenwerke, die ganz anders als die üblichen Mikrocontrollerschaltungen funktionieren.
In dieser Anleitung gibt es ein paar praktische Schaltungsbeispiele, wie man so was angeht:
https://www.epubli.de/preview/92362
Ein paar Schmitttrigger oder NE555 reichen.
Was haltet Ihr davon?
Hallo stochri,
gestern abend glaubte ich noch, dass ich ein Held bin, weil ich bei meinem "GI"-System erkannt hab, wie genau das "Feuern" ablaufen muss. Und nun lese ich bei Dir was von "spiking" und noch vieles andere, was ich zwar in meinem System anders benannt hab, was aber offensichtlich state-of-the-art ist.
Naja... wie Helmut schon schreibt. Es ist nicht falsch, das Rad neu zu erfinden. Dann hat man zumindest begriffen, warum es rund ist.
Viele Grüße
Wolfgang
Ich halte das Gebiet der "Spiking Neurons" ( die ich lieber Pulsneuronen nenne, damit es nicht so Denglisch klingt ) für das interessanteste Gebiet überhaupt.gestern abend glaubte ich noch, dass ich ein Held bin, weil ich bei meinem "GI"-System erkannt hab, wie genau das "Feuern" ablaufen muss. Und nun lese ich bei Dir was von "spiking" und noch vieles andere, was ich zwar in meinem System anders benannt hab, was aber offensichtlich state-of-the-art ist.
Ich beschäftige mich jetzt seit 30 Jahren mit Computer und Mikrocontrollern und mittlerweile ist bei mir eine gewisse Langeweile eingetreten, weil sich die Grundfunktionen der CPUs eigentlich nie wirklich geändert hat. Statt 8- gibt es 32- oder 64 Bit, Pipelining, Multicore, DSP-Funktionen, Branch-Prediction, SIMD Instruktionen und was weiß ich nicht noch alles. Aber grundlegend Neues war nie dabei. Selbst die ganzen neuronalen Netze werden auf klassischen Rechnerstrukturen gerechnet ( auch in den KI-Beschleunigern der FPGAs und MCUs ).
Mit den Pulsneuronen ändert sich das: Hier tut sich im Moment gerade ein riesiges Fenster auf. Die Verarbeitung funktioniert dort vollständig anders und sie wird in der obigen Schrift ziemlich kompakt zusammen gefasst.
Wenn man allerdings die Frage nach der Anwendbarkeit der Pulsneuronentechnik stellt, dann ist das ein wenig wie beim Verbrennungs- gegen Elektromotor: Der Verbrennungsmotor liegt vorne, weil er einfach eine viel längere Entwicklungsgeschichte hinter sich hat. Genau so ist es mit der KI: die klassische Rechnertechnik wird noch eine Ganze Zeit einen Vorsprung haben ( aufgrund der hoch optimierten Hardware ), wer sich aber für die nächste Generation interessiert, der sollte sich mal die Pulsneuronen ansehen.
Das Schöne bei den Pulsneuronen ist auch, dass noch nicht alle Verfahren bekannt sind. Hier tut sich als ein großes, ergiebiges Gebiet für eigene Experimente auf.
Hallo stochri,
die Nerven in der Natur arbeiten simultan und ihre Dendriten können wachsen und verkümmern.
Parallelität geht mit CPLD/FPGA - aber nur ganz wenig. Und Dendriten-Wachstum können CPUs mühsam mit ihren GPU-Matrizenmultiplikationen simulieren. Leider gibts noch keine FPGA-GPUs, so dass die Lösung beider Probleme auf einen Schlag gelingt.
Die Struktur unserer Chips passt einfach nicht richtig zur Natur. Daran können auch die Pulsneuronen nicht wirklich was verbessern, denn sie verbessern nicht die beiden großen Einschränkungen.
Entweder man konstruiert Chips, die die Hirne besser nachbilden können oder man erschafft sich ein gänzlich neuartiges Verarbeitungsmodell. Wendet sich also ab von der Nachahmung der Natur und hin zu einer Darstellung, die besser zu den vorhandenen Chips passt.
Viele Grüße
Wolfgang
Das stimmt (Nerven in der Natur) : ihre Dendriten können wachsen und verkümmern.
Bei Feed-Forward und Backpropagation-NNs macht man das so, dass man zunächst alle möglichen denkbaren Verbindungen ("Dendriten") aufspannt, und dann im Training entweder einzelne Verknüpfungen aktiviert ("wachsen") oder deaktiviert ("absterben" lässt). "Abgestorbene" Dendriten haben dann ein Aktivierungsgewicht=0, sie können aber bei neuem Training erneut aktiviert werden ("neu wachsen") oder bislang aktivierte dann auch deaktiviert werden ("absterben").
Parallelität/Simultanität von Funktionen und Prozessen ist bei single-Thread Programmen nicht möglich, Pseudoparallelität auf Singlecore-cpus geht aber mit preemptivem Multithreading (z.B. pthread oder std::thread) und echte Paralleltät geht auf Multicore-cpus (ebenfalls pthread oder std::thread, z.B. auf Dualcore ESP32 oder Quadcore-Raspis).
Geändert von HaWe (14.11.2019 um 11:49 Uhr) Grund: typo
Genau so ist es. Im SNN-Pulsneuronenbuch wird das ziemlich genau heraus gearbeitet. Dort werden ein paar Neuronen im FPGA implementiert um zu sehen, wie viele Logikblöcke sie brauchen. Allerdings merkt man bald, dass FPGAs ( obwohl sehr flexibel und schnell ) doch strukturelle Einschränkungen haben. Deshalb beschäftigt sich die Arbeit auch mehr mit verschiedenen Analogschaltungen, welche die Neuronen nachbilden.die Nerven in der Natur arbeiten simultan und ihre Dendriten können wachsen und verkümmern.
Parallelität geht mit CPLD/FPGA - aber nur ganz wenig. Und Dendriten-Wachstum können CPUs mühsam mit ihren GPU-Matrizenmultiplikationen simulieren. Leider gibts noch keine FPGA-GPUs, so dass die Lösung beider Probleme auf einen Schlag gelingt.
Soweit OK, aberDie Struktur unserer Chips passt einfach nicht richtig zur Natur.
Das wiederum sieht man anders, wenn man das SNN-Pulsneuronenbuch gelesen hat. Die Neuronen selbst sind ja nicht die Verkabelung.Daran können auch die Pulsneuronen nicht wirklich was verbessern, denn sie verbessern nicht die beiden großen Einschränkungen.
Das wiederum ist richtig. Es gibt ziemlich intensive Forschungsanstrengungen von IBM und Intel zu Struktur neuer Chips, die ebenfalls im SNN-Pulsneuronenbuch beschrieben werden.Entweder man konstruiert Chips, die die Hirne besser nachbilden können oder man erschafft sich ein gänzlich neuartiges Verarbeitungsmodell. Wendet sich also ab von der Nachahmung der Natur und hin zu einer Darstellung, die besser zu den vorhandenen Chips passt.
Neuronen-Netze in der Natur sind allerdings auch nicht immer identisch gebaut oder gar lernfähig wie die in Wirbeltieren:
Der Fadenwurm Caenorhabditis elegans z.B. hat ein neuronales Netz aus ca. 300 Nervenzellen, die NICHT lernfähig sind (Ihre Verbindungen samt Gewichten sind/werden fest vererbt (CMIIW) ): so gesehen sind lernfähige KNN diesen sogar in dieser Beziehung überlegen.
Sein Nervensystem wurde inzwischen auch schon komplett als KNN nachgebaut.
In Wirbeltieren allerdings gibt es neben lernfähigen Neuronen samt ihrer neu wachsenden und/oder absterbenden Dendriten durchaus auch neu wachsende Nervenzellen (aus Stammzellen), und ntl können sie auch unwiederbringlich endgültig absterben, und außer trainierbaren, hemmenden oder aktivierenden Zwischenneuronen gibt es auch noch hemmende oder aktivierende Gliazellen, die ebenfalls wachsen oder sterben können, aber nicht trainierbar sind.
Wie man sieht, ist alles deutlich komplizierter als man auf den ersten Blick denken mag
Hallo stochri,
gepulste neuronale Netze gibts angeblich schon seit 1952. Das scheint nur eine spezielle Spielart von ganz vielen zu sei. Aber interessanter Satz in Wikipedia:
Beim GI hab ich erkannt, dass die zeitliche Nähe eines Impulses an einer kurz vor dem Abfeuern stehenden hocherregten Zelle wichtig ist. So hat das Neuron eine Chance, sich an die Axone anzukoppeln, deren Impulse ihr bestmöglich "nützlich" sind.So ist beispielsweise nicht abschließend geklärt, ob die Informationen durch die Feuerrate oder durch eine zeitliche Codierung übertragen werden.
Ein Autofahrer dreht das Lenkrad nicht nach links, weil er am gleichen Morgen die Milch vor die Tür gestellt bekam, sondern weil ihm ne halbe Sekunde vorher ein Kind von rechts vor den Wagen lief.
Diese Information "Kind kommt von rechts" befindet sich nicht unbedingt in der Schicht davor, sondern kann sich irgendwo in einem ganz anderen Cluster des Hirns befinden. Wahrscheinlich sogar sehr nah dran an den Sensoren, denn eine Mustererkennung "Kind" oder "Auto" oder "Oma" oder "Tiger" ist eigentlich unbedeutend. Wichtig ist doch nur, dass "etwas" von rechts kommt, dem ich ausweichen muss.
Weiterhin erkennt man bei diesem Gedankenexperiment, dass es nicht nur auf zeitliche Korrelation sondern auch auf Deltas ankommt. "Es kommt etwas von rechts" ist viel wichtiger als die Information, dass "rechts etwas steht". Unser Hirn scheint also auf den unteren Ebenen viel mit Differentiation zu arbeiten. Diese Impulsflanken müssen zeitlich exakt sein.
Viele Impulse entstehen im Netzwerk automatisch, weil auch andere Zellen in angespannter Situation gleich mitfeuern. Ein vors Auto springendes Kind kann ein regelrechtes Nervengewitter auslösen, bei dem man sein ganzes Leben an sich vorbeihuschen sieht. Ob eine Zelle bei Erregung mehrfach feuern muss, weiß ich noch nicht so genau. In der fehlerhaften Natur sicher. Aber auch in einem störungsfreien Computer, bei dem jede Aktivität das Netzwerk belastet?
Auf höheren, abstrakteren Ebenen des Hirns gehts dagegen nicht mehr um Impulse. Da scheints um ruhige Integration zu gehen. Hier "reifen" Pläne und Strategien. Von dem Areal bin ich noch ganz weit weg. Außerdem müsste man, um sowas programmieren zu können, intelligenter als das Objekt sein. Da komm ich schnell an meine Grenzen. Aber Impulse spielen "da oben" nicht mehr die Rolle, wie in den untereren animalischeren Regionen der Nerverei.
Spiked neuronal networks sind in meinen Augen nicht die universellen Problemlöser. Sie werden einige Spezialaufgaben gut lösen können. Nach meinem Dafürhalten in den zeitkritischen Bereichen. Auch das simple Perceptron löst einige Spezialaufgaben bestens. Hauptsächlich im Bereich der Mustererkennung. Und andere Topologien werden auch ihre speziellen Domänen nachgewiesen haben.
Gesucht ist aber eine Standardlösung. Seit zig Jahrzehnten.
Viele Grüße
Wolfgang
Geändert von Rumgucker (14.11.2019 um 13:01 Uhr)
die zeitliche Dimension wird bei mehr- oder vielschichtigen BP Netzen durch zusätzliche rückkoppelnde Neuron-Schichten modelliert (z.B. Jordan- oder Elman Netz).
Wird ein natürliches Neuron erregt, so werden dann auch nicht alle Vesikel mit Neurotransmittern in der Synapse seines Axons komplett geleert, sondern nur einige (und diese auch nur teilweise), wodurch die Neurotransmitter u.U. noch nicht in ausreichender Menge an die postsynaptischen Rezeptoren binden, und erst wiederholte Erregung(en) führt(en) dann zu einer so starken Neurotransmitter-Konzentration im synaptischen Spalt, sodass dann auch der Dendrit des nachgeschalteten Neurons erregt (depolarisiert) wird.
- - - Aktualisiert - - -
PS
auch hier kommt noch eine weitere zeitliche Kompenente hinzu:
Die Neurotransmitter im synaptischen Spalt werden laufend wieder rückresorbiert oder enzymatisch inaktiviert, so dass nur sehr kurzfristige schnelle Wieder-Erregungen zu einer ansteigenden Neurotransmitter-Konzentration führen - ist die Zeit dazwischen zu lang, werden die Karten neu gemischt...
Geändert von HaWe (14.11.2019 um 13:25 Uhr) Grund: typo
Hallo HaWe,
mal ein zentrales "Danke"!
Dieses Forum wäre bzgl. der KI regelrecht entkernt, wenn Du nicht bei uns wärst.
Viele Grüße
Wolfgang
- - - Aktualisiert - - -
Hallo stochri,
LTSpice kennt vermutlich jeder. Kostenloses Schaltungssimulationsprogramm, problemlos zu laden und extrem weit verbreitet.
Eigentlich müsste man damit auch unschwer KNN und Neuronen unterschiedlicher Technologie simulieren können. Ohne 555- und ST-Rumgelöte.
Gabs hier im Forum mal Arbeiten in dieser Richtung?
Das wär doch ne feine und höchst anschauliche Sache, finde ich.
Ich wär dabei. LTSpice und ich verstehen uns recht gut.
Viele Grüße
Wolfgang
Berechtigungen
Zitieren
Lesezeichen