stimmt, solltest du wirklich diesen USB/Seriell Wandler benutzen, dann würde ich dort die Fehlerursache vermuten.
Ansonsten könntest du mal testweise einen Ersatz-µC einsetzen, um einen defekten µC auszuschliessen und mal die Steckverbindungen prüfen. Ich weiss nicht welche Steckerform du benutzt, aber bei meinen hatte ich gelegentlich einen Wackelkontakt und bis ich den gefunden habe.....
Du kannst ja auch mal die fünf Anschlüsse am µC durchmessen, wenn Pony aktiv ist. Die Spannungen sollten sich alle ändern.
Den richtigen Transistor hast du auch verwendet und auch richtig eingesetzt?
Hast du es schonmal an einem anderen PC mit richtiger serieller Schnittstelle versucht, um einen Fehler des ISP auszuschliessen?