Die Datei ucom-ir-20070904.hex ist die Firmware für den Programmieradapter, nicht für den Roboter...
Eventuell sind die Fuse-Bits im ATmega128 jetzt falsch gesetzt und dadurch die falsche Taktquelle eingestellt.
Im AVRStudio kann man im Downloader unter Board die ISP Freq. einstellen, probier dort mal den niedrigsten Wert.

Der Motor sollte sich eigentlich während des Resets bzw. während des Programmiervorgangs nicht drehen, falls er das trotzdem tut liegt ein Fehler vor.