Also:

1) 7805 sind nicht teuer. Kauf Dir ein paar auf Vorrat.
2) Wenn Du die Diode(n) korrekt einbaust, dann wird das zurückfließen des Stroms unterbunden, sofern Du zur gleichen Zeit nur eine Spannung anliegen hast (entweder USB oder 7805).
3) Die Idee von sdz55 ist ziemlich gut: Verwende eine Anschlussbuchse für Dein Netzteil (für den 7805), die beim Einstecken des Netzteils die USB-Stromleitung trennt (mechanisch). Sowas gibts überall.