Ja ich meine die RTS / CTS Flowcontrol.
Dann sollte es nicht daran liegen aber um auf der sicheren Seite zu sein müsstest du die Pins Hardwaremäßig im Kabel Verbinden bzw. trennen.
Ich gehe davon aus, dass dein Kabel zw. PC und Modem voll belegt und 1:1 durchverbunden ist.
Um zu sehen ob es ausreicht nur die RX, TX und Masseleitung zu verbinden, müsstest du ein Kabel haben, welches nur Pin 2, 3 und 5 verbunden hat.

Eine weitere Fehlerquelle wäre eine vertauschte RX / TX Leitung an deinem Controller.
Hast du deien Controller auch mal testweise mit dem PC verbunden um zu sehen ob Daten fehlerfrei verschickt werden?
Wenn du den Controller via Max232 mit dem PC verbindest und die Daten am PC empfangen werden sollen, brauchst du ein Nullmodem Kabel (Pin 2->3 und 3->2). Für dein Modem brauchst du dann ein 1:1 Kabel.

Wenn der Controller jedoch über ein 1:1 Kabel erfolgreich mit dem PC kommuniziert, so musst du für die Verbindung zw. Controller und Modem ein gekreuztes also Nullmodem Kabel verwenden.