Die Quadrate der Abstände sind schneller zu berechnen, da spart man sich die Wurzel.

Das mit der Drehrichtung hatte ich übersehen. Das läßt sich aber auch realtiv leicht testen: Wenn man die Vektoren gedanklich mit einer 0 als 3 te komponente zu einem 3 D Vektor erweitert, kann man das Kreuzprodukt der Vektoren berechenen und kriegt so den Sinus des Winkels mal der Längen der Vektoren. Die Längen sollten wohl konstant sein und stören daher nicht weiter. Das könnte man auch gleich als ersten Test nutzen. Statt des Abstandes kann man auch ähnlich das skalarprodukt berechenen: je größer das ist, desto kleiner der Winkel.

Wenn man als bezeichnungen Sx,Sy für die Startposition und Px,py für die Koordinaten wählt, dann also etwa so:
A = Sx*Px+Sy*Py ( = L^2 * cos Winkel)
B = Sx*Py-Sy*Px ( = L^2 * sin Winkel)
Suche nach maximalem Wert von A mit B >0 (oder B<0 bei anderer Drehrichtung). Die Bedingung < 40 Grad kann man dann auch leicht auf A oder B zurückführen.