Lies die Bedeutung von PUD im Datenblatt nochmal.
Die Pullups des ATMega sind NICHT standardmässig aktiv. Die müssen manuell über das PORT-Register gesetzt werden.
PUD ist nur sozusagen ein "Not-Aus" für alle derzeit gesetzten Pull-Ups.

Siehe hierzu auch Table 20 auf S. 53.