Man sollte da ADMUX einfach gleich in eins setzen: als
ADMUX = channel + (0<<REFS1) | (0<<REFS0)
Die erste Version ist zwar nicht wirksam, aber der vermutlich gemeinte Wert ist nach ADMUX = Channel ja schon drin.

Dabei könnte es aber sein, das das auch nicht die richtige einstellung für AREF ist. Da müßte schon eine externen Verbindung nach 5 V vorliegen. Mit einem Kondensator gegen GND geht das so noch nicht. Da müßte dann 0 1 als kombination für die Ref. rein.