Hi!
Vielleicht solltest du mal deinen bisherigen Bascom-Code posten, sonst ist es schwer, dir zu helfen. Wichtig ist vor allem die Konfiguration der SPI-Schnittstelle und das, was du sendest.
Laut Datenblatt hat dein DAC ein SPI-Kompatibles Interface, das 24 Bits (also 3 Bytes) erwartet (MSB First). Die ersten 6 Bits des ersten Bytes sind egal, die letzten 2 Bits entscheiden über den Power Down Modus. Die verschiedenen Modi findest du im Datenblatt auf Seite 17.
Die dann folgenden 2 Bytes entscheiden über die Ausgangsspannung. Sendet man eine 0, dann beträgt die Ausgangsspannung genau die Hälfte von VRef. Bei -32768 ist sie 0, bei +32768 ist sie VRef.
Das schreiben in das Register des DAC beginnt, wenn der Pegel an Sync auf Low-Level gezogen wird. Bevor man ein zweites mal schreiben kann, muss der Pegel an Sync kurz auf High gezogen werden. Da die Sync-Leitung während der ganzen Schreibaktion auf Low liegen muss, muss man die Leitung manuell steuern (also das Automatische Slave Select abschalten).
Mit jeder fallenden Flanke an SCLK wird das Bit ins Register übernommen, das gerade an Din anliegt. Nach der 24sten Flanke (also wenn alle 3 Bytes im Register sind) wird die neue Einstellung übernommen und die neue Spannung wird generiert.
Netterweise scheint das SPI-System des Mega kompatibel mit dem vom 68HC11 zu sein. Für den stehen weiter unten die nötigen Einstellungen (CPOL = 0 und CPHA = 1).

Deine Einstellung in Bascom sollten also ungefähr so aussehen:
Code:
Config SPI = Hard, Interrupt = Off, Data Order = MSB, Master = Yes, Polarity = Low, Phase = 1, Clockrate = 4, Noss = 1

SPIINIT

Set Portb.5 (an Portb.5 kommt dann Sync)
waitms 1
Reset Portb.5 

SPIOUT &B0000 0000
Waitms 1
SPIOUT &B1101 1000
waitms 1
SPIOUT &B1111 0000
Das müsste dem Wert -10.000 entsprechen (Integer) und demnach einer Ausgangsspannung von etwa 1,74V entsprechen.
Kann natürlich auch sein, dass sich da jetzt irgendwo ein Fehler drin versteckt...einfach selber noch mal nachlesen (Datenblatt ist eigentlich leicht verständlich) und ausprobieren.
Eventuell noch mal die Verkabelung checken (MOSI kommt an Din).

MfG
Basti