Ich kann Dir nur empfehlen, anstelle der PC-Hardware ein embedded-Linux-System entweder ein System auf ARM-Basis zu nehmen, z.B. die sehr leistungsfähigen gumstix auf ARM (XScale) Basis oder, für Deinen Fall interessant, auf DSP-Basis von AD der Blackfin.
Links:
http://www.gumstix.com/
http://blackfin.uclinux.org/

Grundsätzlich für den Einstieg:
http://www.linuxdevices.com


Wozu soll denn eigentlich Deine VGA-Karte sein? Du hast doch etwas von einem Fluggerät geschrieben?