Was ich möchte ist einfach eine 1 oder 0 am ausgang die von einem Atmega problemlos erkannt wird. Welche Spannung muss ich dafür an Vdd anlegen?
Da du einen µC verwenden willst musst du 5V anlegen. Die Hysterese ist die Differenz zwischen denen er umschaltet
Hier ist eine Grafik. https://wwwvs.informatik.fh-wiesbade.../Hysterese.jpg
Der grüne Bereich ist die Hysterese. Der Logische Pegel ist am Anfang "0", wenn er das 1te Kreuz erreicht hat schaltet er um auf "1". Der Pegel wird erst wieder "0", wenn die untere Grenze erreicht ist, das ist in der Grafik beim unteren Kreuz. Das bedeutet, dass du entweder eine 0 oder 1 hast, so wie du willst. Du musst den Collector vom Fototransistor mit einem Widerstand auf einen bestimmten Pegel bringen (+5V).

Welche Spannung gehört an Vss? (GND?)
Wie du schon richtig gesagt hast gehört VSS an GND
Einige Spannungsbezeichnungen gibt es auch hier http://de.wikipedia.org/wiki/Spannungsbezeichnung