Das klappt schon. Es wird aber eben nur die Helligkeit der Farbe gemessen. Rot z.B. Helligkeit 0.6 und Blau Helligkeit 0,3.
Es gibt auf diesem Prinzip z.B. Legosteinsortieranlagen mit dem RIS oder dem NXT.
Hattest Du die Beleuchtungs-LED an? Den richtigen Sensormodus? Notfalls hilft eine zusätzliche LED, Lampe, ...