Oh, das war anscheinend ein Kopierfehler... :-\
Eigentlich nutze ich Mode #7:
TCCR1A = (1<<COM1A1) | (1<<COM1B1) | (1<<WGM10)| (1<<WGM11)| (1<<WGM12);

So stehts auch im Quellcode...

Ich habe WGM10/11/12 gesetzt also sollte TOP doch 0x03FF(1023) sein oder?