einfaches neuronales Netz, inkl. deep learning

**Moppi** · 01.11.2019, 15:19

Ich habe das auch versucht, bei mir hat es funktioniert - Originalcode, ohne delay oder was anderes.

HaWe · 01.11.2019, 16:15

nin, er rebootet definitiv und startet dann neu:

Code:

TrainingCycle: 100  Error = 0.04521

  Training Pattern: 0
  Input 1 1 1 1 1 1 0   Target 0 0 0 0   Output 0.06243 0.02479 0.05091 0.05631 
  Training Pattern: 1
  Input 0 1 1 0 0 0 0   Target 0 0 0 1   Output 0.00231 0.06811 0.04512 0.94515 
  Training Pattern: 2
  Input 1 1 0 1 1 0 1   Target 0 0 1 0   Output 0.04356 0.00191 0.98995 0.03381 
  Training Pattern: 3
  Input 1 1 1 1 0 0 1   Target 0 0 1 1   Output 0.02843 0.06270 0.97317 0.97425 
  Training Pattern: 4
  Input 0 1 1 0 0 1 1   Target 0 1 0 0   Output 0.05156 0.93669 0.03940 0.05695 
  Training Pattern: 5
  Input 1 0 1 1 0 1 1   Target 0 1 0 1   Output 0.04218 0.96939 0.06712 0.98471 
  Training Pattern: 6
  Input 0 0 1 1 1 1 1   Target 0 1 1 0   Output 0.00227 0.96866 0.92983 0.00949 
  Training Pattern: 7
  Input 1 1 1 0 0 0 0   Target 0 1 1 1   Output 0.00317 0.92403 0.93362 0.99969 
  Training Pattern: 8
  Input 1 1 1 1 1 1 1   Target 1 0 0 0   Output 0.91035 0.00619 0.03578 0.01782 
  Training Pattern: 9
  Input 1 1 1 0 0 1 1   Target 1 0 0 1   Output 0.94078 0.07733 0.00163 0.93763 
Soft WDT reset

>>>stack>>>

ctx: cont
sp: 3ffffd30 end: 3fffffc0 offset: 01b0
3ffffee0:  dc000000 3fba4933 35793c76 be0a39ef  
3ffffef0:  9c5d2286 3f4dd77a 00000000 40201d95  
3fffff00:  3ffe861d 3ffe861d 3ffee70c bff06660  
3fffff10:  20000000 3ffee70c 00000006 4020baa3  
3fffff20:  3ffee6c8 0000000c 3ffee70c 40201324  
3fffff30:  3ffee5b4 3ffee514 0000001c 40be7a11  
3fffff40:  00000007 3ffee700 3ffee734 40201dc0  
3fffff50:  40100f78 002f51d8 3ffee6d4 3ffee734  
3fffff60:  3ffee714 3ffee70c 00000006 402015e7  
3fffff70:  0000000c 3ffee5a4 3ffe8688 4018fb97  
3fffff80:  3a262eb6 00000070 b886e74e 3ffe866c  
3fffff90:  feefeffe 00000000 3ffee760 3ffee790  
3fffffa0:  3fffdad0 00000000 3ffee760 40202634  
3fffffb0:  feefeffe feefeffe 3ffe8504 4010049d  
<<<stack<<<

 ets Jan  8 2013,rst cause:2, boot mode:(3,6)

load 0x4010f000, len 1384, room 16 
tail 8
chksum 0x2d
csum 0x2d
v8b899c12
~ld
Initial/Untrained Outputs: 

  Training Pattern: 0
  Input 1 1 1 1 1 1 0   Target 0 0 0 0   Output 0.46877 0.38939 0.51073 0.54921 
  Training Pattern: 1
  Input 0 1 1 0 0 0 0   Target 0 0 0 1   Output 0.47558 0.37645 0.46304 0.58882 
  Training Pattern: 2
  Input 1 1 0 1 1 0 1   Target 0 0 1 0   Output 0.44487 0.38804 0.51166 0.58088 
  Training Pattern: 3
  Input 1 1 1 1 0 0 1   Target 0 0 1 1   Output 0.46660 0.38491 0.47829 0.58919 
  Training Pattern: 4
  Input 0 1 1 0 0 1 1   Target 0 1 0 0   Output 0.45748 0.37212 0.46751 0.59319 
  Training Pattern: 5
  Input 1 0 1 1 0 1 1   Target 0 1 0 1   Output 0.49832 0.37738 0.48112 0.56172 
  Training Pattern: 6
  Input 0 0 1 1 1 1 1   Target 0 1 1 0   Output 0.50337 0.38582 0.49144 0.56569 
  Training Pattern: 7
  Input 1 1 1 0 0 0 0   Target 0 1 1 1   Output 0.46656 0.37699 0.46670 0.57934 
  Training Pattern: 8
  Input 1 1 1 1 1 1 1   Target 1 0 0 0   Output 0.45989 0.38881 0.50251 0.56673 
  Training Pattern: 9
  Input 1 1 1 0 0 1 1   Target 1 0 0 1   Output 0.44974 0.37243 0.47104 0.58365 

TrainingCycle: 1  Error = 5.35015

**Moppi** · 01.11.2019, 16:29

Tatsache! Ist mir gar nicht aufgefallen, musste ich erst mal suchen gehen.

MfG

HaWe · 01.11.2019, 16:34

wenn du es jetzt laufen lässt (s.o., // version 0.0.2), wird der Zwischenstand alle 100 Iterationen angezeigt, da kann man den Lern-Fortschritt besser verfolgen.

**Moppi** · 07.11.2019, 11:03

Hallo!

Ich möchte nochmal dran erinnern, was hier im Forum, für die breite Masse der User, fehlt.
Es kommen zwar, nun verstreut über verschiedene Threads, immer wieder Beispiele zu neuronalen Netzen,
davon gibt es auch sicher noch ganz viele, aber es ändert an der Problematik nichts. Deshalb nochmal zur
Erinnerung:

dass es jemand ganz genau erklärt, der die Essenz wirklich verstanden hat und das praktisch, auch an einem Programmbeispiel, mit meinetwegen nur 4 Neuronen in der ersten Schicht, Stück für Stück erklärt. Anhand eines Beispiels die programmtechnischen Zusammenhänge und Aufbau praktisch erläutert. Das Beispiel sollte funktionstüchtig sein.

Mal ein Wunschzettel, welche Themen behandelt werden sollten:

1. Was sind Neuronen in einem NN?
2. Wie bilde ich ein Neuron im Programm (Arduino-C-Code) ab/nach?
3. Wie funktioniert die Gewichtung in einem NN, wie bilde ich dies im Programmcode ab/nach?
4. Wie "lernt" das Netz, wie bilde ich dies im Programmcode ab/nach?
5. Wie entsteht aus einem Eingangsmuster eine Zuordnung am Ausgang?
6. Wie speichere ich Gewichtungen aus dem Netz und lade sie wieder dort hinein, um das Netz verschiedene Aufgaben erledigen zu lassen?
7. Wie weiß ein Netz, wann es alles fertig ist mit Lernen und wann es das gelernte anwenden kann, also wie schalte ich ein Netz um, von Lernen auf Anwenden und wie sieht dies im Programmcode ganz genau aus, wie wird es realisiert?

Sicherlich fehlt hier noch mehr, was wichtig zu wissen ist. Diese Wunschliste darf gerne ergänzt werden!

Ansonsten: reichlich Links auf Bücher und Abhandlungen findet man zur Genüge bei den einschlägigen Suchmaschinen.
Ich denke, das muss nicht alles zusammengesucht und hier in die Threads kopiert werden. Viele Beispiele davon sind
nicht vollständig oder behandeln nur ganz bestimmte Aspekte eines neuronalen Netzes.

Freundliche Grüße
Moppi

HaWe · 07.11.2019, 11:55

Mal ein Wunschzettel, welche Themen behandelt werden sollten:

1. Was sind Neuronen in einem NN?
2. Wie bilde ich ein Neuron im Programm (Arduino-C-Code) ab/nach?
3. Wie funktioniert die Gewichtung in einem NN, wie bilde ich dies im Programmcode ab/nach?
4. Wie "lernt" das Netz, wie bilde ich dies im Programmcode ab/nach?
5. Wie entsteht aus einem Eingangsmuster eine Zuordnung am Ausgang?
6. Wie speichere ich Gewichtungen aus dem Netz und lade sie wieder dort hinein, um das Netz verschiedene Aufgaben erledigen zu lassen?
7. Wie weiß ein Netz, wann es alles fertig ist mit Lernen und wann es das gelernte anwenden kann, also wie schalte ich ein Netz um, von Lernen auf Anwenden und wie sieht dies im Programmcode ganz genau aus, wie wird es realisiert?

Sicherlich fehlt hier noch mehr, was wichtig zu wissen ist. Diese Wunschliste darf gerne ergänzt werden!

ich bin nach wie vor der Meinung, dass damit das Forum hier samt möglicher Autoren überfordert ist. Man müsste wegen Copyrights selber neue Bilder malen und eigene mathematische Formeln per LaTeX einfügen, allein dieser Aufwand ist gewaltig und hier gar nicht zu schaffen - noch nicht mal verlinkte .png Bilder können hier eingefügt werden, und der Speicher für eigene geuploadede Bilder ist hier auch noch massiv begrenzt!!

Dazu gibt es aber ganze Bücher, die sich Schritt für Schritt damit beschäftigen.
Ich habe z.B.:
Uwe Lümmel, Jürgen Cleve: Lehr- und Übungsbuch Künstliche Intelligenz
Burkhard Lenze: Einführung in die Mathematik neuronaler Netze
Klaus Rädle: Neuronale Netze

Ich hatte allerdings oben schon einige Kurz-Tutorials verlinkt - besser als die es machen, könnte ich es auch nicht.
Suche z.B. in Wikipedia und per Google nach "Künstliches Neuron"
https://de.wikipedia.org/wiki/K%C3%BCnstliches_Neuron
mit schönen Bildern wie
Bild hier https://de.wikipedia.org/wiki/K%C3%B...el_deutsch.png,
Perzeptron,
Hebbsche Lernregel,
Perzeptron-Learning,
einschichtige Netze,
Feed-Forward-Netze,
mehrschichtoge Netze und dann auch nach
Backpropagation.

- - - Aktualisiert - - -

PS,
aber lies dir doch mal das hier sorgfältig durch https://de.wikipedia.org/wiki/K%C3%BCnstliches_Neuron ,
und wenn du dazu spezielle Verständnisfragen hast, dann frag einfach!

**Moppi** · 07.11.2019, 12:02

Wie benötigen dieses Forum nicht, um Wissen zu Themen zu finden, auch in russischer Sprache oder in polnisch findet man interessante Ausführungen, wenngleich das meiste vermutlich in englisch verfasst wird.

Ich bin der Meinung, es sollte hier darum gehen, gemeinsam Lösungen zu erarbeiten, gemeinsam an Themen zu arbeiten. Irgendwie sollten doch die vielen kleinen Projekte zu Robotern, Steuerung usw., der einzelnen User, hier im "Roboternetz" unter ein Dach gebracht werden. Mit eine gemeinsamen Wissensbasis kann man sich doch besser verständigen; wenn diese auch noch in der Gemeinschaft gewachsen ist, um so besser. Nicht zuletzt deswegen ist ja sicher auch der RN-Standard für Schaltungen entstanden.
Es ist doch einen Versuch wert, für "Roboternetz" eine Entwicklung anzustoßen, die zukunftsorientiert ist, mit Themen, für die man sich gerne in diesem Forum austauschen mag.

MfG
Moppi