Lernen bedeutet nicht nur das Sammeln von Fakten und Daten. Natürlich könnte man ein Neuronales Netzwerk erstellen das von der seiner größe her daten sammeln könnte, um damit seine umwelt weitesgehend zu verstehen. in der praxis geht man jedoch einen anderen weg, und zwar hin zum minimalismus. je weniger einzelen Neuronen ein netzwerk hat ( hier sind die neuronen der verdeckten schichten gemeint ) umso schneller bilden sich die verknüpfungsmuster. ansich ein logsicher vorgang, je mehr neuronen verhanden sind, umso mehr werden eingabe und ausgabe schichten direkt miteinander verknüpft. aber wie Frank denke ich auch, das "vergessen " ansich nichts anderes ist als eine art von weniger gewichtung. Mit anderen Worten je öfter wir über etwas nachdenken umso mehr gewicht bekommt die " speicherung " dieses sachverhaltes.

P.S. ich hoffe man kann meinen teilweise wirren gedankengängen einigermaßen folgen.