Das mit dem "gewöhnen" ist natürlich ain wichtiger Aspekt - je nach Umgebungshelligkeit wist Du wahrscheinlich ziemlich unterschiedliche Ruhespannungen bekommen. Und die Abweichung beim Einfall reflektierten Lichtes wird auch unterschiedlich ausfallen, je nach dem welche Farbe das reflektierende Hindernis hat.

Es gibt für ganz wenig Geld (1-2 Euro) sehr empfindliche IR-Empfänger, die selektiv nur auf Signale einer bestimmten Frequenz reagieren (z.B. 38 kHz ). Das hat den Vorteil, dass Streulicht praktisch komplett ausgeblendet wird. Diese kleinen Dinger haben auch mehrere Verstärkerstufen eingebaut, so dass eine erhebliche Empfindlichkeit entsteht. Sie haben 3 Pins: +5V, GND und einen Open-Collector-Ausgang, der durchsteuert sobald ein IR-Signal mit entsprechender Frequenz erkannt wird. Kannst ja mal googeln - TSOP38 wäre einer davon.