Analog Neuron

[HaWe]

Mir fehlt ein praktischer, ganz einacher Testfall, in dem man ein minimales neuronales Netz gleich welcher Art real und anschaulich ausprobieren kann. In der Art, daß ein mechanischer Arm verschiedenfarbige Gewichte zu heben versucht und bei einer Farbe immer scheitert und sich später gar nicht mehr daran versucht.

das ist kein einfaches Beispiel, sondern bereits ein vergleichsweise extrem komplexes.
Mit 5-10 Neuronen wirst du es nur schaffen, einfache Muster in der Art von AND, NAND, OR, NOR, NOT und (vielleicht) XOR und deren Verknüpfungen für sehr wenige digitale Inputs hinzukriegen (vlt bis zu einem Dutzend).
Mit etwa 100-150 Neuronen wirst du einfachste Mustererkennungen trainieren und erkennen können (z.B. verschieden platzierte Zeichensymbole auf einer 10x10 Punktematrix als Input-Array).
Erst mit weitaus größeren Netze könnten komplexe Verhaltenmuster trainiert werden.
Und die Trainingszeit wächst exponentiell von Minuten zu Stunden zu Wochen oder Monaten, je nach cpu.

[stochri]

Ich kann mich noch an eine Zeit erinnern, als in den Elektronikzeitschriften noch Schaltungen mit der 74xx Logik gezeigt wurden. Damals hat man die ganzen Lauflichter und Ähnliches mit diesen Bausteinen gebaut. Man war da noch näher an der eigentlichen Rechenlogik. Bis zur künstlichen Intelligenz auf den Computern der heutigen Zeit war es ein weiter Weg und vermutlich hat keiner am Anfang versucht, den Schaltungen aus Logikgattern irgendwie Intelligenz einzuflösen.
Jetzt haben wir in diesem Thread gesehen, wie man aus den Pulsneuronen ein Lauflicht bauen kann. Dieses Lauflicht funktioniert vollständig anders als die Lauflichter mit der 74xer Reihe. Entscheidend ist der Transistorcount: Im SNN-Pulsneuronenbuch wird gezeigt, dass man ein Neuron aus 4 Transistonen bauen kann ( so meine ich mich zu erinnern, ohne jetzt nachschlagen zu wollen ). Wieviel mehr Transistoren braucht man wohl für das Bit eines gewöhnliches Schieberegisters?
Das dürften deutlich mehr sein, sehr viel mehr. Und das Neuron kann noch ein paar Zustände mehr represäntieren.
Es stellt sich als die Frage, um wie viel diese Maschine hier kleiner würde, wenn man sie aus neuronaler Logik aufbauten würde:
https://hackaday.com/2016/07/06/4230...r-is-complete/

[Moppi]

Hallo stochri,

Im SNN-Pulsneuronenbuch wird gezeigt, dass man ein Neuron aus 4 Transistonen bauen kann ( so meine ich mich zu erinnern, ohne jetzt nachschlagen zu wollen ). Wieviel mehr Transistoren braucht man wohl für das Bit eines gewöhnliches Schieberegisters?
Das dürften deutlich mehr sein, sehr viel mehr.

Deine Formulierung ist sehr ungenau, finde ich.

Eine Antwort auf die Frage findest Du u.A. bei Wikipedia unter FlipFlop. Es representiert vom Prinzip eine Speicherstelle in Form eines Bit. Es kann gesetzt werden und hält den Zustand, bis es zurückgesetzt wird.


Folgend nur ein Hinweis:

Und das Neuron kann noch ein paar Zustände mehr represäntieren.

Hier lohnt es sich, sich mit dem Thema Quantencomputer auseinanderzusetzen. Bei dieser Materie geht es genau um solche Sachverhalte, der Speicherung mehrerer Zustände.



MfG

[stochri]

Deine Formulierung ist sehr ungenau, finde ich.

Wieso ungenau? Die Aufgabe ist ganz einfach: Baue ein Lauflicht mit Transistoren. Eines nach klassischer Logik und eines mit neuronaler Schaltungstechnik. Wenn Du mit der neuronalen Schaltungstechnik weniger brauchst, hat sie gewonnen.

Hier lohnt es sich, sich mit dem Thema Quantencomputer auseinanderzusetzen. Bei dieser Materie geht es genau um solche Sachverhalte, der Speicherung mehrerer Zustände.

Quantencomputer haben nichts mit den Pulsneuronen zu tun ( und deshalb vermutlich ebensowenig wie mit der Funktion unseres Gehirns ).
Wenn ich von mehreren Zuständen spreche, dann meine ich die Zustandsvariable: Beim binären Flip/Flop hat sie zwei Zustände und beim SNN-Neuron ist es die Spannung am Integrationskondensator. Die ist kontinuierlich und unter der Annahme, sie wäre unendlich genau bräuchte man für die Darstellung auch unendlich viele binäre Zustände. Das ist praktisch natürlich nicht der Fall ( aufgrund von Schaltungstoleranzen und anderem ), so dass man beim gezeigten Neuron wahrscheinlich mit 3Bit auskommt.

[Moppi]

Wieso ungenau?

Gut, ich dachte jetzt, Du erkennst, was gemeint war.

Ich erkläre es ganz genau:

Im SNN-Pulsneuronenbuch wird gezeigt, dass man ein Neuron aus 4 Transistonen bauen kann ( so meine ich mich zu erinnern, ohne jetzt nachschlagen zu wollen ). Wieviel mehr Transistoren braucht man wohl für das Bit eines gewöhnliches Schieberegisters? Das dürften deutlich mehr sein, sehr viel mehr.

Das stimmt nicht und ist daher falsch. Es sei denn, Du meintest das anders. Die Antwort lautet: nicht mehr, sondern weniger Transistoren werden benötigt, um ein Bit abzubilden.
Was Du mit Bit eines Schieberegisters meinst, ist mir daher nicht klar. Deshalb schrieb ich: Deine Formulierung ist sehr ungenau.



MfG

- - - Aktualisiert - - -

Für den Fall, dass ein Schieberegister aus D-Flip-Flops aufgebaut ist, würdest Du mit "Bit" ein D-Flip-Flop meinen.
Ein D-Flip-Flop kann man aus 4 NAND-Gattern aufbauen.
Ein NAND-Gatter besteht aus 2 Transistoren.
Ergo wäre die Antwort: für ein "Bit" eines Schieberegisters bräuchte man 2 mal 4, also 8 Transistoren.


Die Aussage

Das dürften deutlich mehr sein, sehr viel mehr

Ist hier sehr relativ (ungenau). Nach der obigen Betrachtung sind es mal gerade doppelt so viele Transistoren, wenn Du, bei Deiner andern Sache, 4 Transistoren benötigst.
Dazu kommen aber noch Widerstände und Kondensatoren. Vielleicht sollte man die Größe der Schaltung / der Schaltkreise und Gesamtzahl an diskreten Bauelementen in eine solche Betrachtung einbeziehen.


MfG

[stochri]

Für den Fall, dass ein Schieberegister aus D-Flip-Flops aufgebaut ist, würdest Du mit "Bit" ein D-Flip-Flop meinen.

Nur leider kannst Du kein Schieberegister mit D-FlipFlops aufbauen, Du brauchst flankengetriggerte FlipFlops.
Ein Flankengetriggertes FlipFlop ( das gerne 2 D-FlipFlops beinhalten kann ), braucht deutlich mehr Transistoren.

[HaWe]

der wesentliche Punkt wäre, dass es lernfähig = auf verschiedene Input- und Reaktionsmuster flexibel trainierbar ist, denn sonst macht ein NN IMO keinen Sinn - und dafür dürfte es gern ein paar Transistoren mehr besitzen...

[Moppi]

Der Dreh an der Sache ist doch der: ein biologisches Gehirn kennt keine Digitaltechnik, es funktioniert analog und zwar ausschließlich. Das kann man elektronisch analog nachbauen, oder man greift auf Digitaltechnik zurück. Wodurch es eben möglich wird, extrem viel Platz einzusparen. Auch wenn im Vergleich evtl. mehr Bauteile benötigt werden. Der Kostenaufwand beim diskret analogen Aufbau wäre ungleich viel höher. Auch der Materialeinsatz steigt nicht unbeträchtlich. Dieses hat man doch bei der Erfindung des Computers durchgemacht. Deswegen dürfen wir stolz sein, dass wir heute Milliarden Transistoren auf 1cm² unterbringen können. Lehrreich ist ein analoger Aufbau, zum Verständnis, aber allemal und super geeignet.




MfG

[HaWe]

analog oder digital mit float oder double (die ja auch analoge Werte nachbilden) - völlig egal, Hauptsache: lernfähig, und je leistungsfähiger, desto besser.

Ist denn diese analoge Schaltung nun lernfähig und trainierbar auf Muster oder Umweltreize?

Außerdem funktoniert ein biologisches Gehirn nicht analog, sondern reagiert auf abzählbare Neurotransmitter-Molekülzahlzahlen an Rezeptoren, bis zu Schwellenwerten, in Ganzzahl-Schritten, worauf hin dann ab dem Schwellenwert die Polarisation nach "alles-oder-nichts"-Gesetz erfolgt, also quasi 0 auf 1 (Depolarisation), anschließend wieder zurück auf 0 (Repolarisation), demnach ist die Auslösung des Nervenzellimpulses ein getriggertes digitales Ereignis.

PS: Strengenommen beruht aber ja auch "analog"-Technik auf einer abzählbaren ganzzahligen Schritt-Anzahl von Überträgern, nämlich Elektronen (nur dass die Schritte hier noch deutlich kleiner sind als die (schrittweise) rund 0 bis 10¹⁰ Neurotransmitter-Moleküle im synaptischen Spalt von nat. Nervenzellen)

[stochri]

Der Dreh an der Sache ist doch der: ein biologisches Gehirn kennt keine Digitaltechnik, es funktioniert analog und zwar ausschließlich.

Nein, es funktioniert gemischt: Sowohl analog als auch digital. Im vereinfachten Modell entspricht die Spannung am Kondensator dem Zellpotential und das ist analog. Der Puls ( oder im Fachjargon "das Aktionspotential" ) ist digital. Er ist entweder da oder er ist nicht da.

der wesentliche Punkt wäre, dass es lernfähig = auf verschiedene Input- und Reaktionsmuster flexibel trainierbar ist, denn sonst macht ein NN IMO keinen Sinn - und dafür dürfte es gern ein paar Transistoren mehr besitzen...

Da Du Dich ja mit der KI ein wenig auskennst: Bei den meisten praktischen Anwendungen wird zwischen "Training" und "Inferenz" unterschieden. Normalerweise ist das Training auf leistungsstarken Computern mit großen Trainingsdatensätzen durchgeführt. Die spätere Anwendung kann z.B. auf einem relativ schwachbrüstigen Mikrocontroller ( von mir aus mit KI-Beschleuniger wie der Kendryte K210 ) durchgeführt werden.
Die trainierten Modelle kann man z.B. für Tensorfloor fertig herunter laden. Das resultierende System ist starr, wurde aber vorher durch lernen erzeugt, ist aber selbst nicht mehr lernfähig.