Wenn du RN-Motorcontrol nutzt kann eigentlich nur da der Fehler liegen. Die 30A sind der maximale Dauerstrom, einen Peak gibt es bei diesen Chips nicht, da sie bei zu hohem Strom automatisch die Motorspannung runterregeln. Ich würde also mal versuchen RN-VN2 alleine zu testen, falls du an deinem Hauptboard keine PWM-Ports hast, kann ich dir auch eine einfache Software-PWM geben.Wenn du alles verbaut hast, guck mal wie die Richtungsports geschaltet sind. Ich schätze mal dass Brall den Stopp nicht nur per PWM sondern auch über die Richtungsports regelt, wenn also beide Richtungsports entweder 1 oder 0 geschaltet sind, weißt du dass RNMotorControl schuld ist.
Die Kühlkörper müssten bei 10A nicht riesig dimensioniert sein, ich denke da z.B. an solche die meistens auf Computer-Chipsätzen montiert sind. Wenn der Chip komplett abgedeckt ist sollte das reichen.
Hier hast du mal ein Bild:
http://p.gzhls.at/382540.jpg