Hab noch was entdeckt
Code:
   PORTA &= ~(1<<PA1);         //PA1 auf High setzen
damit wolltest du wahrscheinlich den Pull-up von PA1 einschalten. Hier wird der Pull-up aber gerade deaktiviert.

Grund dafür, dass die LED nur glimmt: Wenn der Pull-up deaktiviert ist und du den Taster nicht drückst, dann hängt der Eingang in der Luft, hat kein definiertes Potenzial. Fängt wahrscheinlich 50Hz Brumm ein.

Richtig muss es heißen:
Code:
   PORTA |= (1<<PA1);         //PA1 auf High setzen
Nun sollte es klappen - so wie du dir das vorstellst Bild  

Grüße,
Bernhard