Für mein Dafürhalten kommt das Problem daher, dass der Zeitpunkt (bzw. der mechanische Drehwinkel) für die Kommutierung zu früh gewählt ist. Offenbar ist das Drehmoment in der alten Bestromung noch stärker als in der neu geschalteten, der Motor dreht daraufhin zurück in die alte Bestromung und so fort.
Ich vermute dass es genügen würde die Kommutierung etwas später auszuführen, möglichst genau zu dem Drehwinkel, bei dem das Drehmoment in der alten und in der neuen Bestromung gleich ist. Das könnte z.B. durch mechanischen Versatz der Hallsensoren oder elektrisch durch eine drehzahlabhängige Verzögerungszeit erfolgen oder durch einen zweiten Satz Hallsensoren für niedrige Drehzahl.
Die letzten beiden Varianten hätten noch den Vorteil, dass bei hohen Drehzahlen zum Originalzeitpunkt kommutiert werden kann. Bei hohen Drehzahlen ist die verfrühte Kommutierung sinnvoll, weil sich die Strangströme wegen der Wicklungsinduktivitäten erst verzögert aufbauen.