Eingänge müssen immer über PINX.Y abgefragt werden.
Wenn Du mit PORTX.Y = 1 den Pull-Up aktiviert hast, wird PORTX.Y immer 1 sein - egal welcher Pegel an dem PIN anliegt.