Das sieht so aus als gäbe es da ein Problem mit der Geschwindigkeit. Dafür kann es 2 Gründe geben:
1.: die Verbindung ist so schlecht, das es schneller zu viel Störungen gibt. Das ist aber der eher unwahrscheinliche Fall.
2.: Der µC läuft mit einem recht niedrigen Takt . Das Limit für den ISP Takt ist etwas unter 1/4 des µC Taktes.