Bascom ist da ein wenig schizoid.

Beim Config gilt:
(ganzes Port -> "Config PortX=" einzelne Pin ->"Config PinX.Y=" )

Bei den Befehlen gilt immer
PINB od PINB.x wenn's um den Input geht,
PORTB od. PORTB.x wenn's um den Output geht.

Du solltest einmal (bei deinem Programm) den Input Pinb.4 messen und schauen, wer sich nun irrt:
Liest der µC ein "1", obwohl der Pin auf 0 Volt steht, bzw.
liest der µC ein "0", obwohl der Pin auf ~5 Volt steht