Ich würd mal sagen dein ISP ist falsch. Ist denk ich mal das klassische Problem wie beim Mega128 das viele denken das MOSI vom Programmer an MOSI vom Controller gehört.
Aber diese Controller haben eine andere ISP belegung.
Programmer --> Controller
SCK -> SCK (B.1)
MOSI -> TX (E.1)
MISO -> RX (E.0)
RESET -> RESET (Pin 20)