Du machst nichts falsch, das ist ganz richtig so. Da du den PullUp-Widerstand eingeschaltet hast, liegt der Eingang und "Ruhezustand" auf logisch "1". Wenn du den Eingang auf +5V legst, ändert sich daran nichts. Erst wenn du den Eingang auf GND legst, bekommt der µC den Wechsel mit und schaltet LED1 an und LED2 aus.

Gruß MeckPommER