Im Register ADMUX des ADC kannst du einstellen ob externe Referenz, Referenz ist AVCC oder interne 2,56V, daher keine externe Verbindung zu VCC.
Der Regler könnte ohne Grundlast zu schwingen beginnen und sich selbst zerstören oder im Einschaltmoment eine falsche Spannung liefern. Ausserdem braucht er immer Strom. Ich würde den Schalter vor den Regler geben.