noch eine frage: muss die masse vom pin 8 des l298 mit der masse von der versorgungsspg des motors verbunden werden oder nicht (ich habs bis jetzt so dass ich sie auf den massepin des RN-Control board zurückführe)?
Grundsätzlich sollten alle Massepunkte einer Schaltung gut leitend miteinander verbunden werden und irgendeine Verbindung zwischen dem GND Anschluss deines L298 und der Masse deiner Versorgungsspannung muss es natürlich auch geben.
Ich vermute aber, dass das auch der Fall ist, du wirst deine Versorungsspannung ja sicherlich nicht nur mit einer Leitung an deine Schaltung angeklemmt haben.

Die Masseverbindung zwischen der Versorungsspannung deiner Motoren und dem GND Anschluss des L298 sollte schon vernünftig sein.
2 mal 0,8 A für die Motoren ist zwar nicht schrecklich viel Strom, aber wenn dafür nur eine Masseverbindung über ein dünnes Flachbandkabel und eventuell noch ein paar unsaubere Lötstellen besteht, ist das sicherlich nicht optimal.

Schlecht verbundene Massepunkte können schnell zu Störungen in einer Schaltung führen, besonders bei Signalen mit höheren Frequenzen wie z.B. PWM Signalen - besonders wenn dann auch noch bei Entstörkondensatoren gespart wird.

Keinme Ahnung ob es die Ursache für dein Problem ist, aber eine zusätzliche direkte Verbindung zwischen GND vom L298 und der Masse deiner Motor-Versorgungsspannung kann sicher auch nicht schaden.