Jetzt mal nur ne schnelle Überlegung, ohne den konkreten Hardwareaufbau zu kennen: Sollte man nicht vielleicht den Signalweg überdenken um auf höhere Geschwindigkeiten zu kommen? Also z.B. eine Gameboy Camera, ein SRAM und eine SD-Karte an den gleichen Controller hängen?
Will sagen, da wo der meisste Datenfluss ist, sollten am wenigsten Knotenpunkte dazwischenliegen wo die Daten erst durch müssen.
Auch würde ich die LEDs am Bus komplett weglassen, da sie für die Funktion ja nicht notwendig sind. Oder haben die Debugging-Zwecke?

MfG