Doch, weil eine ISP Leitung unter anderem aus einem Taktsignal besteht.

Probier einfach mal einen anderen Quarz bzw. was genau steht bei dir unter win AVR in der Taktzeile bei den fusbits?