Hab mir den Code zwar nicht richtig angeguckt, aber das problem hört sich sehr nach einem Variablenüberlauf an.
Übrigens, wieso verwendest du keinen 16bit Timer? Vielleicht liegt das Problem dort.

Gruß, Yaro