Das ist nicht merkwürdig, sondern logisch !
Die Widerstände bei den Tasten sind viel kleiner als der interne Pullup.
Und wenn der ADC in der Luft hängt muss er fast schwanken, ist so seine Art (gehört zum Thema Antenne).
Ganz ohne Schwankung wird man es nicht schaffen.

Heut Nachmittag bau ich mal mein Zeug zusammen und probier es noch mal aus.