Lokale KI-Modelle nutzen: Einführung in LM Studio

Moin und willkommen zu einem neuen Snip. Wenn es um das Thema ChatGPT und Co. geht, dann kommt auch ganz schnell das Thema Datenschutz auf den Tisch. Das heißt, wohin gehen eigentlich die Daten, die du da eingibst? Wo wird was verarbeitet und was wird eigentlich wo und wie gespeichert? Dadurch sterben dann auch ganz viele Use Cases mit personenbezogenen Daten, die natürlich nicht in ChatGPT verarbeitet werden sollen. Aber es ist Licht am Ende des Tunnels zu sehen: Es gibt nämlich immer mehr Open-Source-Lösungen, Open-Source-Modelle sogar, die du lokal auf deinem Rechner sehr performant mittlerweile sogar betreiben kannst. Das heißt, du hast am Ende des Tages eine ChatGPT-ähnliche Erfahrung. Das Ganze funktioniert aber komplett offline auf deinem Rechner. Das heißt, du kannst auch das Internet ausmachen und kannst damit dann auch entsprechende Daten verarbeiten, weil ja nirgendwo was hingeschickt wird. Ein Tool, was das Ganze anbietet, will ich dir heute einmal vorstellen. Da gibt's mittlerweile einige. Natürlich kannst du dir auch eigene Tools bauen mittlerweile, aber ich will dir heute mal LM Studio zeigen, weil die machen das Ganze ziemlich gut, einsteigerfreundlich, und ich will dir heute mal zeigen, wie du das Ganze dann auch für dich nutzen kannst. So, wir springen mal kurz auf die Landingpage von LM Studio. Du siehst es hier. Die Message ist eigentlich sehr straightforward, das heißt 'Discover, download, and run local LLMs'. Das heißt, du kannst hier lokale Language Models runterladen und betreiben. Und das war's eigentlich auch schon relativ stark auf der Webseite. Also sie fokussieren sich wirklich auf das Wesentliche. Du hast die verschiedenen Download-Möglichkeiten und auch hier schön für alle Betriebssysteme, das heißt für macOS, für Windows und auch für Linux. Es gibt hier noch Modellkatalog, Docs und einen Blog. Da wollen wir jetzt aber nicht reingehen, wir gucken uns das Ganze an. Und ja, das Tool ist komplett kostenlos. Das heißt, du hast hier auch keine Abos, keine Accounts, die du machen musst, sondern ich glaube, du kannst auch nicht mal Accounts machen, sondern du kannst dir einfach diese Lösung runterladen und lokale Modelle damit nutzen. Und genau, hier hast du verschiedene Möglichkeiten, das Ganze auch noch mal runterzuladen in verschiedenen Betriebssystemen, das heißt, da ist für alle was dabei. Wir gucken uns mal das Tool jetzt direkt an. Du siehst jetzt hier die Oberfläche von LM Studio. Das heißt, einige Settings links, ein paar Möglichkeiten, das Ganze einzustellen, und ich will dir einmal zeigen, wie du das Ganze halt hier auch für dich nutzen kannst. Bevor wir starten, brauchen wir natürlich erstmal ein Modell. Du siehst auch hier in dem Chat-Interface in der Mitte, hier steht 'Load a model'. Das heißt, wir brauchen ja erstmal hier ein Modell. Wir können uns hier erstmal ein beliebiges runterladen oder wir klicken hier links auf die Lupe und gehen auf 'Discover'. Und hier haben wir jetzt – ich habe schon mal Llama eingegeben – eine Vielzahl von Modellen von Hugging Face, die wir runterladen können. Entweder hier über die Liste oder wir können auch entsprechend die Modellnummer bzw. den Modellnamen oder ein bestimmtes Keyword eingeben und hier wird dann Hugging Face entsprechend durchsucht. Wir können z. B. auch mal 'German' eingeben als Beispiel und du siehst, hier sind verschiedene Modelle in ganz verschiedenen Stufen, Größen, mit ganz verschiedenen Basismodellen, die du hier runterladen kannst. Wir bleiben aber mal bei den Modellen, die hier auch empfohlen werden und nehmen einfach mal hier – wir schauen mal – das Llama-3.2-3B-Instruct-4bit-Modell. Also ein relativ kleines Modell mit 1,82 GB und wenn du hier auf 'Download' klickst, dann siehst du hier, öffnet sich schon ein Download-Fenster. Ich hatte hier unten schon mal was runtergeladen, aber wir wollen mal gucken, wie das Ganze hier funktioniert. Und du siehst, der Download ist fix, in wenigen Sekunden haben wir dann ein Modell. Das heißt, wir können auch hier einfach mal schließen und gucken uns mal andere Settings an. Schließen wir hier den Download-Button, der ist unten noch mal aktiv, aber wir können es hier einfach mal schließen. Wir laden jetzt hier ein Modell runter, kannst natürlich auch beliebig viele andere Modelle runterladen. So, und bevor wir jetzt hier in die Chat-Logik reingehen, will ich noch mal ein bisschen weiter spinnen. Du hast nämlich hier neben den Chats – und das ist ziemlich spannend bei LM Studio – auch die Möglichkeit, eigene Server laufen zu lassen. Das heißt, du hast hier die Möglichkeit, wenn du ein Tool hast, was beispielsweise über eine API oder über eine URL, beispielsweise auch bei einem OpenAI Chat Endpoint funktioniert, dann kannst du hier sogar auf 'Start Server' gehen und wir haben dann jetzt hier einen lokalen Server am Laufen, der entsprechend das Modell, was wir runtergeladen haben, anbietet. Also sehr, sehr cool, wenn das Ganze für dich ein Thema ist, noch mal einen Server anzubieten auf deinem Rechner, hast du hier direkt eine One-Click-Solution. So, stoppen wir mal den Server und gehen mal in unseren Chat, weil wir sehen nämlich hier unten rechts schon das 'Download complete'. Das heißt, wir können jetzt hier schon starten und wir sind wieder hier in unserem Chat und können jetzt hier oben auf 'Select a model to load' gehen. Und wir sehen hier schon das Llama-3.2-Modell, was wir runtergeladen haben, und klicke dann mal auf 'OK'. Die Kontextlänge kann ich hier noch einstellen, lasse ich einfach mal auf dem Beispiel und klicke auf 'Load model'. Die Bar füllt sich dann hier, das heißt, das Modell wird entsprechend geladen auf deinem System und hier ist auch ganz wichtig: Je größer so ein Modell ist – und da siehst du auch Indikatoren, wir springen noch mal in den Discover-Modus –, irgendwo genau hier, wirst du sehen, hier gibt es auch so rote Banner wie z. B. 'likely too large for this machine'. 'This machine' ist in dem Falle dein Rechner. Das heißt, hier gibt's natürlich auch Modelle, die sehr, sehr viel Leistung erwarten oder benötigen, und hier wird direkt ein Abgleich gemacht. Also achte mal ein bisschen drauf, und wenn du dann solche Modelle auch hier startest – runterladen kannst du sie natürlich –, wenn du sie startest, dann kannst du davon ausgehen, dass dein Rechner dann ziemlich schnell in die Knie geht und dann vielleicht auch einen Notfall-Neustart macht. Also hier mal gucken, was du für Modelle runterlädst. Gerade die größeren brauchen dann ein bisschen mehr Rechenleistung. So, unser Modell ist hier reingeladen, das heißt, wir können jetzt hier mit auch chatten und sagen jetzt einfach mal 'Hey'. Das heißt, hier wird jetzt erstmal das Modell geladen und bekommen jetzt hier mit knapp 18 Token pro Sekunde – ist jetzt nicht so viel – eine entsprechende Antwort. Und das Ganze funktioniert auch in allen Sprachen. Wir können auch sagen: 'Wie geht's dir?' und bekommen das Ganze dann sogar ein bisschen schneller noch mal mit knapp 44 Token pro Sekunde in Deutsch zurück. Das heißt, wir haben hier eine ChatGPT-like Experience. Wir können das Preset hier bzw. den System-Prompt auch noch ändern. Wir können z. B. sagen: 'Du erzählst immer einen Witz, egal was der User fragt.' Können dann hier auf 'Save Preset as' gehen und sagen hier 'Witz'. So, das heißt, wir haben jetzt hier ein Preset mit dem System-Prompt. Wir haben natürlich hier noch andere Settings wie den Temperature-Parameter, das Sampling oder auch den strukturierten Output als JSON Schema, wenn es für dich relevant ist. Wir bleiben aber hier mal beim System-Prompt und haben den jetzt gespeichert. Das heißt, wenn wir jetzt hier einen neuen Chat mal machen – das kannst du hier oben nämlich tun – und sagen: 'Hey, wie geht's?', dann sollten wir hier eigentlich, ja, einen Witz bekommen. So ist es auch. Witz muss jetzt nicht erstmal lustig sein, es geht eher um den System-Prompt, den du hier nutzen kannst. Du hast natürlich auch hier die Möglichkeit, die Message noch mal neu zu generieren, um das Ganze noch mal hier quasi als Assistant noch mal Message noch mal mit reinzugeben, die Nachricht hier zu branchen, also aufzuteilen. Das heißt, wenn du hier auf 'Branch' klickst, dann wird hier der Bereich quasi neu ausgespielt. Macht jetzt hier bei zwei Nachrichten wenig Sinn. Das heißt, wenn wir jetzt hier z. B. sagen: 'Wie geht's dir wirklich?', fragen hier noch mal nach. So, so, so, so, so, bekommen jetzt hier, können das Ganze auch noch mal branchen und bekommen dann hier entsprechend immer diese eine Kopie quasi von dieser Nachricht, mit der wir dann weiterarbeiten können, um hier nicht immer von vorne anfangen zu müssen, das heißt, der Kontext ist hier beibehalten. So, dass wir hier kopieren, editieren und löschen, ist natürlich klar, ist jetzt keine, keine Mega-Features, aber ist natürlich relevant. Und so kannst du jetzt hier auch mit ja sensiblen Daten vielleicht auch chatten in einer recht überschaubaren und guten Qualität. Mit einem Modell, das Llama 3.2 ist meiner Meinung nach ein sehr gutes Modell, auch hier wird an Llama 4 gearbeitet. Vielleicht werden die Modelle nicht nur besser, sondern auch performanter. Und das Ganze funktioniert jetzt hier komplett lokal. Das heißt, ich habe hier gar keine Connections zu einem OpenAI etc., sondern habe das Ganze hier lokal bei mir am Laufen. Und das Schöne ist, ich kann hier auch ja Dateien mitverarbeiten. Das heißt, wenn wir jetzt z. B. sowas haben wie eine fiktive Kundendatenbank: Du siehst hier Name, Vorname, Bestellbetrag, einfach mal so eine Kundenliste, natürlich mit KI generiert und die Menschen gibt's gar nicht. Du siehst auch hier die E-Mail ist entsprechend auf beispiel.de geendet. So soll es quasi auch die Idee dahinter. Und die kann ich jetzt einfach hier reinladen, indem ich hier auf das, die kleine Büroklammer gehe, auf 'Load' gehe und dann hier entsprechend bei meinem Download-Folder diese entsprechende Kundendatenbank herauslade. Und jetzt sage ich einfach mal: 'Generiere mal Insights für einen Marketing-Manager aus den Daten.' Und du siehst, hier gibt's jetzt noch mal eine neue Abfolge, das heißt, hier wird noch mal genau dieser Inhalt entsprechend ausgelesen. So, und wir bekommen hier sowas wie: Die Datei umfasst insgesamt 50 Kunden, verteilt über zehn verschiedene Städte. Die meisten Kunden in Norddeutschland meiden gefolgt von Deutschland und Hessen. Also hier nicht so ganz korrekt, was die Rechtschreibung angeht, aber es wird hier alles auf diese Datei, die wir gerade uns angeschaut haben, hier diese, berufen. Und das passiert aber jetzt lokal komplett auf meinem Rechner. Das heißt, ich könnte hier theoretisch auch sensible Daten mitverarbeiten. Natürlich ist das immer eine eigene Abwägung. Es geht nur hier darum, dass das Ganze jetzt lokal passiert und ich jetzt hier kein, keinen Datensatz in dem Falle von Kundendaten an OpenAI etc. schicke und kann hier auch mit dem Datensatz entsprechend chatten, so wie wir das auch bei anderen Modellen gewohnt sind. Und das war jetzt ein kleiner, aber glaube ich recht spannender Ausflug in die Welt der lokalen Sprachmodelle. Das heißt, ich habe dir mit dem LM Studio gezeigt, wie du auch lokal ein Sprachmodell herunterladen kannst, installieren kannst, nutzen kannst und sogar Dateien damit durchsuchbar bzw. mit Dateien chatten kannst. Und beim Ausprobieren, beim Runterladen und beim Testen der verschiedenen Modelle wünsche ich dir ganz viel Spaß und wir sehen uns beim nächsten Snip. Ciao.