Vorausgesetzt es ist doch AVR-GCC: vor dem #include muss noch die Taktfrequenz gesetzt werden:

#define F_CPU 1000000UL // 1 MHz
#include <avr/delay.h>

Im Installationsverzeichnis vom AVR-GCC liegt eine PDF Datei "avr-libc-user-manual". Darin ist das erklärt.