Am AVR brauchst du nur 2 Pins. Einen für den "Interrupt-Takt" (Signal A z.B. an INT0) und einen für Signal B (muss kein Interrupt sein, beliebiger Pin).

Sobald der INT0 durch eine Flanke ausgelöst wird, nachschauen, welchen Pegel die andere Leitung hat.

6 Anschlüsse brauchst du da nicht, da die anderen jeweils nur die Stromversorgung für die LED bzw. die Transistoren sind.

Vom Anschluss her sieht das so ähnlich aus wie hier: http://www.ioproz.de/images/sch_optokoppler.gif
Der Widerstand zieht die Leitung auf 5V; fällt Licht auf den Transistor leitet dieser und das Signal geht auf (fast) 0V runter.
Das 2x für jeden Transistor, die LED kriegt ebenfalls nen Vorwiderstand; würd mal schätzen so zwischen 270-1k. Aber müsste man eh von der ursprünglichen Mauselektronik abschauen können, welcher da drinhängt.
(In der Hoffnung, dass die Elektronik darin dann auch mit 5V lief)