Wie wärs, wenn Du einfach einen Jumper einfügst, der den Pin entweder zur SD Karte, oder zum Programmer schaltet.
Ist er falsch gesteckt funktioniert etwas nicht, der Port der SD Karte kann aber nie mit dem ISP verbunden sein.