Ich finde die Diskussion sehr interessant. Ich habe auch schon einmal ein paar einfache Experimente mit neuronalen Netzen gemacht und mir dabei die Frage gestellt, welche Ziele man damit verfolgen kann. Es sind nur ein paar Überlegungen die keinen Anspruch auf Vollständigkeit haben.

Mögliche Ziele für den Einsatz neuronaler Netze
Ziel 1) Selbstorganisation in der Rechner-Archtiektur. Leistungssteigerung, Realisierungstechnik für Höchstleistung an Verarbeitung, Nutzung paraller Strukturen zur quasi unendlichen Erweiterbarket ohne spezielle Engpässe

Ziel 2) Selbstorganisation in der Algorithmenerstellung. Neue Wege zur Formulierung der Lösung von determinierten Problemen, die klassisch schwer zu formuliern sind. Beispiel: Erkenung der Zeichen eines Zeichensatzes an maximalen Merkmalsunterschieden mit immer neuen aber beliebigen festgelegten Zeichsätzen (oder Bildern)

Ziel 3) Extrapolation von Lösungen. Lösung von unbekannten Problemen aus der Ähnlichkeit zu bekannten Problemen und deren Lösungen

Die Testbarkeit wird, wie schon in der Dikussion schon gesagt wurde, entscheidend durch die Zielvostellung beeinflußt, denn die Lösung unbekannter Probleme ist beisielsweise schwierig zu testen.
Ich erwähne es weil ich die wichtigen Aussagen zu den Kriterien in der Diskusion gefunden habe und nur noch einmal in einer Gegenüberstellung deutlich machen möchte, denn auch der Zielkonflikt des Überlernens wurde ja hier schon angesprochen.

Die Beschäftigung mit neuronalen Netzen ist in jedem Fall interessant, aber mit der Beschreibung möglicher Zielvorstellungen kann man sich auch klar machen welche Kiterien für einen selbst wichtig sind, oder welche Kriterien man aktuell betrachtet und welche gerade zurücktreten.


Für mich wichtige Bemerkungen aus der bisherigen Diskussion:
wie verändert man aber systematisch die Gewichtungen (Ziel 2: es kommt darauf an in welchem Sinn systematisch, Freiraum für Selbstorganisation)

mein Neuronales netzt hat ein lernen ... rufe ich die lernen procedure im robi auf damit er ständig weiter lernt ... dann kommt aber das problem der des Überlernens (Ziel 2 vs. 3)

ich denke nicht das hardware die lösung ist, software ist schneller (Ziel 1 läßt auch Lösungsvielfalt offen für viele schnelle Multi-Neuronenemulationen oder ganz viele Neuronen)

Aber darauf kommt es bei Neuronalen Netzten ja eigentlich garnicht an. Die brauchen ja garnicht schnell sein, höchstens fürs Training, weil man da so arg probieren muss bis der richtige Wert rauskommt. Aber für ein trainiertes Netz ist dach nicht weiter relevant. (Ziel 1 , 2, nicht 3)

"Überlernen" oder Overfittings, äußert sich darin, dass das Netz "auswendig lernt". Es verliert seine Generalisierungsfähigkeit und
degeneriert quasi zu einer reinen Lookup-Table. (Ziel 2 vs. 3)

Manfred