Das wird so eh nichts.

Du brauchst in den Zeilen und in den Spalten jeweils einen Treiber, sonst grillst Du den PIC. Jeder PIN kann 20mA liefern (Source) bzw. "aufnehmen" (Sink). Die maximale gesammte Stromaufnahme ist ebenfalls begrenzt (siehe Datenblatt). 540mA sind auf jeden Fall definitiv zu viel.

10mA im Mittel pro LED sollten eigentlich ausreichend hell genug sein. Macht 180mA max. im Mittel bzw. 3*180mA=540mA (entspricht Manfreds 1A bei 20mA im Mittel) Impuls pro Zeile.