Joah da ha ich nich hingeschaut

Hängt irgendeine Last >20mA am Ausgang? Dann könnte die Strombegrenzung vom LM324 einschalten.
Ansonsten:
2. LM324 mal tauschen, vielleicht ist der kaputt
3. (Was ich nicht glaube ^^) Masse am Opamp vergessen?