Ja, ist wohl einfach zu flott dein Programm.

Die Taster sind wohl von vcc an den Port gelegt. Sind die offen, brauchst du einen Pulldown nach GND, damit die Ports nicht floaten.

Oder du hängst die Taster zwischen GND und Port. Dann brauchst du Pullups (intern oder extern). Dann dreht sich allerdings die Logik um, weil ein gedrückter Taster ne 0 liefert.