Einen offensichtlichen Fehler kann ich nicht erkennen, zumal man ja sieht, dass hier mit Bedacht und Sorgfalt gearbeitet wird.
Wonach ich in dieser Situation suchen würde:

1. Für die Reflexlichtschranke habe ich auf die schnelle keine Daten gefunden. Oft ist es im Ausgangsteil nur ein Fototransistor dessen Kollektor mit einem Widerstand an Plus gelegt wird. Eine solche Schaltung ist für höhere Frequenzen (steile Flanken) wenig geeingnet. Möglicherweise wird das Signal bei höheren Frequenzen derart verschliffen, dass die Interrupt-Schaltpunkte des uC nicht mehr erreicht werden, oder dass zufällige Störungen, die sich eingeschlichen haben, relevant für den Schaltpunkt werden.

2. Dein Rechenergebnis mit 1875 Instruktionen zwischen zwei Interrupts ist nur gültig, wenn die erzeugten Flanken der Lichtschranken genau symetrisch sind. Das sind sie in der Praxis natürlich nicht. Es kann also wesentlich knapper werden. Möglicherweise zu knapp. Eine mechanische Instabilität (z.B. Eigenfrequenz der Schlitzscheibe) könnte die Schaltpunkte auch zusätzlich verschieben, indem der Abstand Schlitzscheibe - Fototransistor nicht konstant bleibt.

3. Störungquellen über die Betriebsspannung, Motorzuleitungen etc. hast Du wahrscheinlich schon beseitigt (durch getrennte Leistungsversorgung von Motor und Elektronik, Entstörkondensatoren direkt am Motor, räumliche Trennung von Motor- und Meßleitungen).