Ähnliche Probleme mit Schmitts hatte ich auch schonmal. kannst du an einem der noch freien Eingänge mal n Poti-Schleifer anlöten (zwischen 0 und 5V) und am Ausgang n Multimeter anschließen? Dann siehst du ob es wirklich am schmitt liegt. ansonsten kann ich mir nur nen zu hohen ausgangsstrom am ic vorstellen (oder ne eingangsfrequenz >10MHz, ist für reflexkoppler etwas ungewöhnlich...). Im Datenblatt steht auch nix von Zwischenwerten:
http://www.chipcatalog.com/ONSemi/Da...MC14584B_1.htm

Wenn du weiterhin kein Glück hast, musst du dir notfalls mit nem OpAmp einen Do-it-yourself-schmitt basteln (Gegenkopplung). Der Vorteil dabei ist dass du Position und Breite der Hysterese selbst festlegen kannst.
mfG

cht