Hallo,
der ADC eines AVR hat aber 10 Bit, das ergibt Werte von 0 bis 1023.
Wenn Du als Referenz nicht intern sondern AVCC angibst, sind das wieder 5V und das sollte doch auch passen.

Wenn man bei Referenz intern oder AVCC angibt, sollte beim Pin AREF aussen ein Kondensator angeschlossen sein.

Den Prescaler braucht man um den Takt des ADC auf unter 200kHz zu bekommen, denn der Takt wird von der CPU-Frequenz abgeleitet, das macht Bascom aber für einen wenn man Auto angibt.

Edit:
beim M168 ist die interne Referenzspannung 1,1V nicht 2,5V !