Da braucht man eigentlich nichts zusammenzufassen.
Sendest du eine 3, oder eine "3" (Also Ascii-Code 0x33?)

Für einfache Ascii-Zahlen (also 0x30 - 0x39) sollte das so gehen:
PORTA = (zahl - &H30) AND &H0F

zahl ist die empfangene Zahl, -&H30 zieht die 0x30 ab, um aus z.B. der "3" eine 3 zu machen, AND &H0F sorgt dafür, dass dann auch nur die untersten 4 Bits verwendet werden.