Habe ich noch nie versucht, vielleicht klappt es:

Mein Vorschlag: Um zu überprüfen ob sich was tut kannst Du die Drähte der Seriellen Schnittstelle wie folgt verdrahten:

1. Die Sendeleitung vom GSM Handy mit der Empfangsleitung des PCs verbinden
2. Die Empfangsleitung vom GSM Handy so konfigurieren dass Du umschalten kannst zwischen Mega8 und PC, mit Schalter oder Klemme.
3. Die Masse muss wohl von allen drei Teilnehmern zusammengelegt werden

Nun ist wie folgt vorzugehen:

1. Die Empfangsleitung vom GSM Handy zunächst mit der Sendeleitung vom PC verbinden, Masse nicht vergessen. Die Empfangsleitung vom PC mit der Sendeleitung vom GSM Handy verbinden.
2. Im Terminalprogramm vom PC (Hyperterminal) die Zeichenfolgen:
ATZ<ENTER>
anschließend
ATE1<ENTER>
senden.
3. Nun die Empfangsleitung des GSM Handy mit dem Mega8 verbinden, die Sendeleitung vom GSM Handy aber am PC angeschlossen lassen.
4. Der Mega8 sendet nun die Zeichenkette "HALLO", initiierbar beispielsweise durch einen Knopfdruck oder Reset (Programm startet neu).
5. Der PC muss nun "HALLO", Zeichen für Zeichen empfangen da die Sendeleitung des GSM Handy NOCH mit der Empfangsleitung des PCs verbunden ist.

Hintergrund: Das ATE1 sorgt dafür dass das Modem (hier GSM Handy) alle Zeichen zurücksendet (hier an den PC) die es erhält (hier vom Mega.
Empfängt Dein PC nichts oder nur Müll während Dein Mega8 sendet kann es daran liegen dass die BAUDRATE vom Mega8 nicht stimmt, die Anzahl der STOPBITS nicht korrekt ist oder der Mega8 tatsächlich nichts sendet. Mit Bascom sollte der "Print" Befehl jedoch funktionieren. Möglicherweise stimmt die ANZAHL DER BITS pro Zeichen auch nicht. Das Protokoll der RS232 kann Zeichen wahlweise mit 8 oder 7 BIT PRO ZEICHEN übertragen. Hier ist sicherzustellen dass dies korrekt, auf dem PC als auch auf dem Mega8, korrekt eingestellt wurde.

Hinweis: ich habe früher auch mit GSM Modulen gearbeitet. Meines wissens funktioniert der ATH1 Befehl hier NICHT. Abheben kann man beim GSM Modul (mit denen ich gearbeitet habe) NUR durch direkte Wahl einer Nummer, Beispielsweise durch ATDT03012345

PS: Wieso verlangt Dein GSM Modul nicht nach einer PIN Nummer? Hierzu existieren ebenfalls AT Befehle, sind jedoch Hersteller abhängig.
Rauswählen und Anrufe erkennen ist in der Regel nur möglich (zumindest bei mir) wenn VORHER die PIN Nummer mittels AT Befehl gesendet wurde.

Grüße