Ok, dann solltest du erstmal nur die Werte bestimmen, die der Optokoppler liefert. Ihn einfach mit dem Spannungsteilerwiderstand anschliessen und die Werte über RS232 ermitteln, die er bei hell und dunkel liefert. Damit kannst du auch den besten Widerstand ermitteln.
Wenn du die min. und max. Werte hast kannst du sie im Programm ja nochmal ändern und schauen was dann passiert. Dann sollte es schonmal etwas besser laufen.