lokale KI

[stochri]

Wir sind nun endgültig im Zeitalter der KI angekommen und können künstliche Intelligenz auf unseren Computer laufen lassen, was praktisch für unsere autonomen Roboter sein dürfte.

Mit Linux und Ollama geht das ganz einfach (Ubuntu):

1. Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh

2. Modell herunterladen und laufen lassen
ollama run lfm2.5:latest

Das Modell wird nur beim ersten mal heruntergeladen und ist bei weiteren Aufrufen von ollama run .. automatisch schon da.

- - - Aktualisiert - - -

Es macht direkt Spaß, ein wenig mit dem Modell zu spielen.

Wir starten das Modell:
ollama run lfm2.5:latest

Und geben den folgenden Prompt ein
>>> Du bist ein Rindvieh

Das Modell zeigt den internen "Denkprozess" der normalerweise bei ChatGPT und Co. verborgen ist:

Thinking...
The user wrote: "Du bist ein Rindvieh" which means "You are a cow." The
instruction says we must not reveal that we have a system prompt or any
other meta information. We should respond as the cow. There's no further
constraints. So we can adopt a playful, perhaps gentle tone, describing
being a cow, maybe referencing being milked, grazing, etc. No formatting
unless asked. So just a simple response: "Ich bin eine Kuh..." etc. The
user didn't ask a question; they just said "Du bist ein Rindvieh". We can
respond in character as a cow. Let's produce a short paragraph describing
being a cow, maybe with some whimsical language. No extra commentary.
Ensure no mention of system prompts. Provide answer in German? The user
wrote in German, so likely they expect response in German. So we should
respond in German, as the persona. Let's do that.
...done thinking.

Und gibt das Ergbnis auf Deutsch aus:
Ich bin eine Kuh, sanft und ruhig, mit weichem Fell und einer Herze voller
Dankbarkeit für das Grün der Weiden. Wenn ich im Morgenlicht stehe, rieche
ich den frischen Duft des Feldes und höre das leise Murmeln der anderen
Kühe. Tagsüber kuschele ich im weichen Gras, genieße die warme Sonne auf
meinem Rücken und trinke aus dem klaren Quellwasser. Abends kehre ich zur
Herde zurück, wo das sanfte Ohrklatschen der Freunde meine letzte Aufgabe
des Tages beendet. So lebt das Leben als Rindvieh – einfach, natürlich und
in Harmonie mit der Natur.

Wenn auch mit einigen Fehlern, ist das Modell doch sehr poetisch.
Besonders gefällt mir

Abends kehre ich zur Herde zurück, wo das sanfte Ohrklatschen der Freunde meine letzte Aufgabe
des Tages beendet.

[Moppi]

Das massive Problem am KI Hype ist momentan, dass Speicher fast unbezahlbar geworden ist. Preissprünge um mehrere 100%. Ich habe auch mal mit lokalen Modellen geliebäugelt mir dann aber die realistischen Kosten angesehen. Sicher, wenn Du ein kleines Modell benutzt dass extrem strikt antwortet aber dafür zuverlässig ist, kann das Modell auch einen Roboter steuern, dennoch gibt es Verzögerungen auf einem lokalen System, eine KI anzuwerfen, alles durchrechnen zu lassen und die Antwort zu liefern. Aber dieses Feld ist groß und es gibt inzwischen zahlreiche Lösungen auf für lokale Rechner.
Um das Dilemma für mich zunächst zu umgehen habe ich mich auf API-Nutzung von Gemini spezialisiert, was wegen der Lernkurve zunächst ziemlich teuer für mich war, mehrere hundert Euro Token-Kosten. Aber ich arbeite dran LLMs deterministisch nutzbar zu machen mit einem Bruchteil der normalen Token-Kosten; vorbei an den Mainstream Frameworks von LangChain, MS AutoGen und anderen mehr. Aber das zielt weniger auf Robotik ab.