Lokale KI kann Probleme für Firmen lösen! Ein großes Thema bei KI ist zum Beispiel das Thema Datenschutz, da man keine personenbezogenen Daten in KI-Modell speichern sollte, außer man hat einen sogenannten Auftragsdatenverarbeitungsvertrag mit dem Anbieter. Das ist leider wenig bekannt, insbesondere bei den Mitarbeitern – die Dunkelziffer war schon 2023 bei 50% der Mitarbeiter, die ChatGPT oder einen anderen Chatbot ohne Wissen der Firma einsetzen. Ich schätze, die ist jetzt höher – außer bei den Firmen, die inzwischen offiziell eigene Lösungen anbieten wie z.B. SiemensGPT.
Die Lösung: lokale KI / on-premise KI
Insb. für kleinere Firmen ist es daher am einfachsten, die Daten mit lokaler KI zu nutzen. Lokale KI bedeutet, dass man auf einem Firmenrechner oder einem Server der Firma ein Open-Source-KI-Sprachmodell ausführt. Das hat Vorteile:
- personenbezogene Daten können ohne Risiko verarbeitet werden. Die Daten verlassen die Firmensysteme nicht und können selbst gelöscht werden. Bei Cloud-Anbietern ist man da auf die Zusicherung der Löschung angewiesen, kann es aber nicht überprüfen.
- es sind keine teuren Accounts bei Cloud-Anbietern notwendig. In der Regel, z.B. bei ChatGPT, sind die datenschutzrechtlich erforderlichen Elemente nur in höherpreisigen Verträgen für ca. € 200 pro Monat verfügbar.
- es gibt keine Risiken durch unerwartete Updates. Insb. ChatGPT hat dieses Jahr Schlagzeilen gemacht, weil die Persönlichkeit von ChatGPT 5 sich deutlich gegenüber ChatGPT 4 geändert hat. Mit einem lokalen Modell entscheidet man selber, wann upgedated wird. Keine Überraschungen.
Wie kann man lokale KI ausprobieren?
Ich bin begeistert davon, wie gut und schnell lokale KI funktioniert inzwischen funktioniert. Das folgende Video zeigt ein Beispiel, wie schnell die korrekten Antworten kommen:
Es gibt ein paar Varianten, wie man lokale KI ausprobieren kann. Ich nutze meistens die Open-Source-Software LM Studio. Bzgl. Geschwindigkeit habe ich auf einem Mittelklasse-Laptop sehr gute Erfahrungen mit Google Gemma gemacht. Alle großen KI Anbieter veröffentlichen auch kostenlose Open-Source-Sprachmodelle. Diese Modelle sind zwar nicht so gut wie die Modelle in der Cloud, aber meiner Meinung nach definitiv gut genug für Standard-Anwendungen.
Dementsprechend sehe ich diese Variante als eine der einfachsten Lösungen für Firmen im Mittelstand, den Mitarbeitern KI-Chatbots im Alltag ohne Fixkosten anzubieten:
- zwei Server, wegen der Redundanz (ca. € 4.000)
- gute Absicherung nach außen – die Sprachmodelle sollten keine Möglichkeiten haben, sich mit dem Internet zu verbinden.
- regelmäßige automatische Löschung der Chats mit personenbezogenen Daten gemäß der DSGVO
Lust auf Austausch?
Ich tausche mich immer gerne zum Thema KI aus! Mehr Infos zu meinem Ansatz beim Training von Mitarbeitern und Beratung findest Du auf der Homepage!
