wie hoch ist denn die stromaufnahme, wenn du grad nicht programmierst?
den zusätzlichen strombedarf beim proggen würde ich spontan auf unter 30mA schätzen...

die korrekte funktion des buffer-ICs im ISP ließe sich überprüfen, indem man hig/low auf dessen eingänge gibt und misst, ob sich was an den ausgängen tut... und ob die eingänge dabei zuviel strom ziehen...

wenn es so scheint, als würde das problem wirklich am ISP liegen, würde ich dann dessen IC mal versuchsweise austauschen...