hallo,
nein, ich habe mich bisher noch nicht mit Q-Learning beschäftigt, aber vieles kommt mir bekannt vor.
Mit der Verstärkung meinte ich aber etwas anderes:
wenn man ein Netzwerk trainiert (z.B. ein ganz simples FF-Netz), dann präsentiert das Netz ja auf ein Input-Pattern spontan ein Output-Pattern.
Ist das richtig (so wie gewünscht), tut der Trainer nichts.
Ist es falsch, nennt der Trainer das richtige Ziel-Ergebnis.
Dann wird trainiert, d.h. die Netz-Input-Gewichte und thresholds werden so lange durch Algorithmen verändert, bis das Input-Pattern dann doch dem Ziel-Output entspricht.
Diese Zurodnung wird gespeichert.
Also reagiert der Trainer nur, wenn das output-Pattern NICHT dem spontan präsentierten Pattern entspricht.
Beim Operanten Konditionieren durch positive Verstärkung passiert es ganz anders, nicht nur "anders herum":
Das Netz (das Tier) präsentiert bei ständigen zufälligen Reizmustern ein spontanes Output-Pattern (spontanes Verhalten).
Ist es richtig, wird vom Trainer belohnt, und durch die Belohnung wird diese Zuordnung tendenziell modifiziert, wenn auch noch nicht endgültig fest gespeichert.
(z.B. (1) bestimmtes Reizmuster => (2) Tier erzeugt Verhaltensmuster
=> (3) wenn "richtig": Futterkugel als Belohnung), das ist der Lernschritt, der gefestigt und später dauerhaft gespeichert werden soll.
Ist es falsch, passiert gar nichts, es wird auch kein Hinweis in irgendeiner Weise gegeben.
Wird gar kein Verhalten vom Tier geäußert oder präsentiert (Nichts-Tun), passiert aber ebenfalls nichts seitens des Trainers.
Nicht irgendein Verhalten oder Nichtstun an sich wird belohnt oder bestraft oder berichtigt, sondern alleine "richtiges" Verhalten, und damit es endgültig gelernt wird, muss es immer und immer wieder verstärkt werden.
Falsches oder Nicht-Verhalten wird in diesem Modell mit der positiven Konditionierung nicht bestraft, es "erlischt" spontan mit der Zeit, da es nicht verstärkt wird, und der Trainer wird dabei einfach nicht aktiv.
(Grundsätzlich erfordert dieser Ansatz allerdings ein weiteres Element, nämlich einen natürlichen, angeborenen Trieb (Fressen) auf ein Grundbedürfnis (Hunger) hin, und einen primären Reiz (Futter), um den Trieb zu stillen.
Ohne dies könnte dann auch Futter nicht als Verstärker funktionieren.
Und wenn es dieses Bedürfnis nach Futter wegen des Fress-Triebs nicht wäre, könnte man damit auch keine sekundären Verstärker antrainieren.)
Und das wäre jetzt auf künstliche neuronale Netze zu übertragen, z.B. um einen Roboter wie einen Hund trainieren zu können.
Zitieren
Lesezeichen