Hi!
Ich würde den IS-Ausgang vom BTS555 nicht verwenden! Die Temperaturabhängigkeit ist enorm, und im kleinen Strombereich <50A sehr unlinear.
Was du versuchen könntest, wäre ein größerer Widerstand (rantasten...mal mit 10k anfangen). Damit bekommst du eine größere Spannung, die sich mit dem Multimeter genauer messen lässt.

Wenn du zum Strom messen keinen Shunt verwenden willst, dann probier es doch mal mit Hall-Effekt Sensoren! Allegro Micro stellt solche Sensoren her. Der ALC712 dürfte deinen Geschmack treffen, Strombereiche zwischen max. 5A und max. 30A, Spannungsausgang mit 185mV/A, super Linear von -5A bis +5A. Er braucht halt zwei Kondensatoren und zusätzlich 5V.

MfG
Basti