einfaches neuronales Netz, inkl. deep learning

[Moppi]

Guten Morgen,

ich habe ein Video gesehen, wo schon sehr gut erklärt ist, wie ein neuronales Netz zur Bilderkennung funktioniert.
Jetzt würde ich mir wünschen, dass es jemand ganz genau erklärt, der die Essenz wirklich verstanden hat und das praktisch, auch an einem Programmbeispiel, mit meinetwegen nur 4 Neuronen in der ersten Schicht, Stück für Stück erklärt. Anhand eines Beispiels die programmtechnischen Zusammenhänge und Aufbau praktisch erläutert. Das Beispiel sollte funktionstüchtig sein.

Dann würde ich mir wünschen, dass dieses kleine, funktionierende, neuronale Netz um Deep Learning erweitert wird. So, dass man die Wirkungsweise - auch im Quellcode, am besten nachvollziehbar tatsächlich für Arduino bzw. nodeMCU (wegen des größeren Speichers und der höheren Taktgeschwindigkeit) - bis auf den letzten C-Befehl nachvollziehen kann.




MfG

[HaWe]

ich habe es vor vielen Jahren schon einmal programmiert, sowohl mit NXC für Lego Mindstorms als auch mit Arduino - aber das zu erklären, würde den Rahmen des Forums sprengen. Hier ist mein erster Ansatz (später dann im Aufbau deutlich verändert): http://www.robotc.net/forums/viewtopic.php?f=15&t=557 (Feed Forward funktionierte, bei Backpropagation war noch ein Bug drin).

Suche mal nach Perzeptron, das ist die einfachste Struktur, die man dann zu einschichtigen (Feed Forward Netzen), 2-schichtigen (Backpropagation-Netzen), 2-schichtigen mit Rückkopplung (Jordan-/ Elman-Netz mit Backpropagation) und vielschichtigen (Deep learning) kombinieren kann.

https://www.statworx.com/de/blog/das...eep-learnings/

[Moppi]

Ich weiß, dass das Thema insgesamt sehr komplex ist. Links dazu gibt es im Netz haufenweise. Und es gibt genau so haufenweise unsachliche und nicht zielführende Kommentare.
Aber ich dachte an Grundlagen, die man praktisch verdeutlicht. Das sollte das Forum nicht sprengen. Wenn man anscheinend in ein paar Minuten Youtube-Video erklären kann (oder die taugen einfach nichts) sollte es so schwer nicht sein, das in einem Forum wie diesem ganz genau Schritt für Schritt praktisch umzusetzen. Gerne und lieber wäre eigentlich sogar Pseudocode, weil am einfachsten für jeden zu verstehen, egal von welcher Programmiersprache er kommt. Ich habe z.B. ein Buch gefunden, dass das können soll, hat aber auch keine 1000 Seiten. Leider nimmt man dort wieder Python. Deshalb wünsche ich mir, dass das in diesem Forum mal aufgedröselt wird. Am besten wärs, nicht nur Pseudocode zu haben, sondern auch PAPs dazu.


MfG

[HaWe]

besser erklären als hier könnte ich es auch nicht:
https://www.statworx.com/de/blog/das...eep-learnings/
https://de.wikipedia.org/wiki/Perzeptron

im ersten Link oben von mir http://www.robotc.net/forums/viewtopic.php?f=15&t=557 findest du ja C-ähnlichen Code für kleine einschichtige Netze.

Im Anhang ist ein Backpropagation Netz für Arduino Due:

[Mxt]

Hier gibt es ein kleines neuronales Netz auf einem Arduino Uno
http://robotics.hobbizine.com/arduinoann.html

Wie man schön sieht, reduziert sich das größtenteils auf mathematische Operationen, insbesondere Matrizenmultiplikationen. Eigentlich gibt es bei NN nur die Ebene der Mathematik und die der Infrastruktur, um die Mathematik möglichst effizient abzuarbeiten.

[HaWe]

ich habe hier noch mal ein neueres Beispiel für ein einfaches Feed-Forward Netz bei mir gefunden, in C-ähnlich (NXC):

[Moppi]

Ich kehre mal wieder vom HTML-KeyPad zurück zum diesem Thread hier.

Hier die Überleitung dazu:

..... wende ich mich dem Thema Arduino zu und beschäftige mich etwas damit. Einen guten Link dazu gab es ja. Mal schauen, wie weit man damit kommt. Leider gibts hier offenbar keinen, der in der Lage wäre, das Thema Neuronales Netz für Bastler verständlich darzustellen und Projekte, angefangen vom Arduino UNO, über schnellere nodeMCUs mit mehr Speicherplatz und schließlich darüber hinaus verständlich darzustellen und zu beschreiben. Wenn man im Laufe der Entwicklung ableitet, dass man noch schnellere und noch mehr Speicherplatz und noch andere Technik (wie Multitasking) benötigt, ist das durchaus sinvoll und hat seine Berechtigung und macht dann auch Sinn.

Falls es jemand verpasst hat, nochmal hier lesen, was MXT schrieb.



MfG

- - - Aktualisiert - - -

Ich hatte mir das gestern angeschaut. Wenn es funktioniert, ist es ein guter Anfang, denke ich. Muss ausprobiert werden, dafür gibt es einen UNO in der Schublade.

[HaWe]

ja, ich habe den Code gecheckt (nicht getestet), es ist sicher ein guter Anfang, und weil alle Inputs und alle Ziel-Net-Outputs hard-coded sind, kann es auch ohne User-Interface auskommen.

[Moppi]

Um mein Anliegen noch mal zu erläutern:


Ich vertrete die Theorie, dass nur der, der neuronale Netze in der Grundfunktion verstanden hat und eigenständig aufbauen kann,
in der Lage ist abzuschätzen, was ganz genau damit möglich und was nicht machbar ist oder, wozu es überflüssig ist.
Und wenn bestimmte Probleme anstehen, ob man die besser mit einem neuronalen Netz löst und wenn, dann wie genau und in
welchem Umfang.



MfG

[HaWe]

Um mein Anliegen noch mal zu erläutern:


Ich vertrete die Theorie, dass nur der, der neuronale Netze in der Grundfunktion verstanden hat und eigenständig aufbauen kann,
in der Lage ist abzuschätzen, was ganz genau damit möglich und was nicht machbar ist oder, wozu es überflüssig ist.
Und wenn bestimmte Probleme anstehen, ob man die besser mit einem neuronalen Netz löst und wenn, dann wie genau und in
welchem Umfang.

MfG

ja, stimme zu, nur kann der "normale" Arduino viele Netztopologien gar nicht aufbauen, u.a. wegen mangelndem RAM - aber als Einstieg in jedem Falle richtig.