Hi!
Ich würde einen Low-Drop Regler verwenden. Der 7805 braucht so ca. 2-3V Drop Spannung. Also entweder läuft das Ding nur kurz oder garnicht.

Schau mal nach z.B. nem LF 50 oder so. Oder bei Reichelt einfach danach suchen.

MfG