Das Problem mit so einer SD Karte hatte ich auch schon mal.
Ich hab es mit einem 0,1F Gold Cap gelöst.
Die Spannung hab ich über von der 5V Schiene über eine Schottky Diode auf den Gold CAP eingespeist. Nach diesem Gold CAP wurde dann noch ein Spannungsregler mit 3,3V eingebaut, weil die üblichen SD Karten ja auch mit 3,3V laufen. Als Controller muß man dann aber einen L oder V Typen verwenden, der mit 2,5 V noch sicher funktioniert. Ich hab einen ATMEGA32L8 verwendet.

Allerdings trat dann ein toller Effekt zu Tage.
Der Controller kriegt über einen Pin den Ausfall der 5 V Stromversorgung mit und schließt daraufhin das File mit der Restenergie aus dem Gold Cap.
Nun geht der Controller über die Brown Out detection in den Reset.
Bis hier war noch alles i.O.
Durch die abgeschaltete SD Karte und den schlafenden Controller erholt sich die Spannung am Gold Cap aber wieder.
Die Ausgangsspannung nach dem 3,3V Regler erreicht das Startup Niveau des Controllers worauf sich dieser wieder initialisiert.
So lange bis die SD Karte wieder initialisiert ist und somit wieder Strom zieht. Dann schlägt wieder die Brown Out detection zu und das Spielchen beginnt von vorne. Das geht dann 3 bis 4 mal so hintereinander.

Ich hab das so gelöst, das der Controller in der Initialisierungsphase einen 330 Ohm Widerstand für 2 bis 3 Sekunden auf GND schaltet.
Dadurch wird der Gold Cap dann sicher entladen, wenn nicht die 5V Stromversorgung schon wieder aktiv ist.
Das hat bis jetzt eigentlich immer gut funktioniert.

Der Stromverbrauch meiner Schaltung hängt hauptsächlich von der verwendeten SD Karte ab und schwankte von 2mA - keine Karte gesteckt. Bis um die 30mA - Schreiben auf Karte.
Karten verschiedener Hersteller brauchen unterschiedliche Ströme!

Diese FAT hat mir schon einiges an Nerven gekostet, bis alles sauber lief.
( Fehler in der downgeloadeten Library, Falsch initialisierte SD Karten, Beschaffungsproblem des ATMEGA 32 L8 in TSOP, 1GB Problem, Fragmentierung des SD Karte, und das bestriebene Reset Problem ).