Der LM324 ist zwar kein Rail-to-Rail Opamp aber zumindest einer, der (normalerweise) bis zur negativen Versorgungsspannung runterkommt.
Schreib mal bitte auf welche Widerstandswerte du in der Schaltung verwendet hast.

MfG