Danke für die Hinweise.

Das Display zieht nur ca. 50ma. Ist also weit weg von den 200ma die die Nano angeblich wandeln können soll. Ich habe jetzt einen 5V Spannungswandler vorgeschaltet, damit die Nano gar nicht mehr regeln muss.
Ich hatte zwischenzeitlich schon gelesen, dass die Empfehlung ist max. 7,5V einzuspeisen um der großen Wärmeentwicklung vorzubeugen.

The Arduino Nano can be powered via the Mini-B USB connection, 6-20V unregulated external power supply (pin 30), or 5V regulated external power supply (pin 27). The power source is automatically selected to the highest voltage source.
Da ich ja jetzt 5V vor der Arduino habe kann ich doch die 5V an GND und 5V (Pin 27) anlegen, oder? So verstehe ich zumindest den "Power" Abschnitt auf der Arduino-Seite. Aktuell liegen die 5V noch an VIN(Pin 30) und GND an

Ansonsten läuft jetzt alles stabil.