Der Raspberry Pi hat keinen USB-Device Anschluss sondern nur Host-Anschlüsse. D.H. du kannst einen USB-Stick, Wlan-Adapter, Maus, Tastatur alles anschließen, aber du kannst ihn nicht als Gerät an einen PC anschließen wie deine Arduinos.
Somit ist der Rapsberry Pi nicht für deine recht starr vorgegebenen Zwecke geeignet. Der Raspberry Pi ist ein Computer und kein Microcontroller.
Wenn du damit arbeiten willst kannst du natürlich dein eigenes Betriebssystem schreiben, wenn du das ein oder andere Jahrzehnt Zeit hast, das Ansteuern der Controller und der Peripherie ist nicht zu vergleichen mit einem Microcontroller alla Arduino.
Alternativ verwendest du ein ausgeglügeltes, funktionierendes und bestehendes Betriebssystem wie Raspbian was aber auch fordert, dass du dich damit beschäftigst.
Irgendwo ist da ein Widerspruch wenn du zum einen ein einfaches Ansprechen von Displays forderst, also einen Treiber der dir eine Menge Arbeit abnimmt aber dich gleichzeitig nicht mit dieser Arbeitserleichterung auseinandersetzen willst.