Es ist normal das sich die Spannung durch den Elko erhöht. Nur mit Gleichrichter hat man pulsierende Gleichspannung. Ein Multimeter mißt da den mittelwert oder seltener den Effektivwert. Der elko läd sich ohne Last dagegen auf fast den Maximalwert auf, und das ist halt mehr. Typischerweise etwa 1,4 mal mehr als ohne Elko.

Bei dem Spannungsregler ist dann wohl offensichtlich was falsch. Entweder ein Defekt oder falsch angeschlossen.