Hast du evt "hex output" angehakt?
sonst kann es nur an einem kommunikationsfehler liegen, dass eigendlich keine richtigen ascii zeichen übertragen werden. ich hab mit einem hex to ascii converter aus dem internet nachgeprüft. es ist auf jeden fall kein "hello world" sondern irgendwelche sonderzeichen.
probier doch mal mehrere einstellungen im cutecom durch.

auf welcher frequenz läuft dein uC?
hast du F_CPU richtig gesetzt?

Grüße
Thomas