Dann schau dir mal die AppNote 1019 und 1020 von Atmel an. Da steht:
The 32MHz Internal Oscillator can be tuned to run at any frequency between 30MHz and 55MHz
Es soll auch eine weiter AppNote geben in der von 64MHz geschrieben wird. Ich selber betreibe 2 GPS-Tachos mit 64MHz auf XMega256A3U seit einigen Monaten ohne Probleme.