Für den Anfang reicht die Demoversion von Bascom allemal aus. Die gibts als Download. Alternativ das WinAVR Paket als freier C Compiler.

Die AVR Controller gibts bei vielen Händlern. Wo man den dann tatsächlich kauft hängt mehr davon ab was man sonst noch braucht. Schließlich kosten selbst 2 Controller oft weniger als die Versandkosten.

Programmierkabel habe ich selber gelötet. Hängt aber vom PC ab, neuer PCs habe oft nur USB, und da wird das selberlöten schon schierig bis unmöglich. Wenn der PC eine echte RS232 hat, wäre das Pollin Experimientierboard eine Möglichkeit. Da hat man eine Testplatine und einen einfachen Programmierer.