An den Fuses wird es eher nicht liegen. Eher schon an einem Fehlen Pullup Widerstand bei der Taste. Ich weiss nicht ob da einer in Hardware auf dem Board drauf ist.

Der Fehler liegt darin, das man den Eingang nicht mit Portb.1 abfragt, sondern über Pinb.1 .