Könnte Einstreung von Netzbrummen sein ...

Wie Du schon gesehen hast, wird der IC nichtlinear
wenn Du mit der Spannung zu hoch gehst.
Dies hängt mit der internen Schaltung des IC's zusammen:
--> IC wird übersteuert.

Wenn Du zu hoch mit der Frequenz gehst, wird die Kurvenform
verschliffen und die Amplitude nimt ab bis die Schwingung ganz
abreist.

Wie andere vor mir erwähnt haben, musst du für einen 'sauberen'
Rechteck ein FlipFlop nachschalten.