Du aktivierst die internen Pull-Ups und hast externe Pull-Downs.
Welchen Pegel soll das denn dann ergeben bei nicht gedrückter Taste?