Was „lokal“ technisch bedeutet
Ein KI-Modell besteht im Kern aus einer großen Datei mit Zahlenwerten, den sogenannten Gewichten, und einem Programm, das damit rechnet. Bei Cloud-KI liegen beide beim Anbieter: Du schickst deine Frage hin, die Antwort kommt zurück. Bei lokaler KI lädst du die Gewichte einmal herunter, und die Berechnung – die Inferenz – passiert auf deiner eigenen Hardware.
Möglich ist das nur mit Modellen, deren Gewichte veröffentlicht sind („Open Weights“). Bekannte Beispiele sind das Spracherkennungsmodell Whisper von OpenAI und verschiedene offene Sprachmodelle, die sich mit Programmen wie llama.cpp oder Ollama auf einem normalen Computer ausführen lassen. Die großen geschlossenen Modelle der führenden Anbieter laufen dagegen nur in deren Rechenzentren.
Lokal heißt nicht zwingend auf dem Laptop: Auch ein Server im eigenen Haus oder in einem eigenen Rechenzentrum gilt als lokal im Sinne von On-Premise. Entscheidend ist, dass kein externer KI-Dienst die Daten zu sehen bekommt.
Vorteile
Die Gründe für lokale KI sind meist dieselben:
- Datenkontrolle: Vertrauliche Inhalte gehen nicht an Dritte. Für Berufsgeheimnisträger oder streng regulierte Bereiche kann das den Ausschlag geben.
- Offline nutzbar: Die KI funktioniert ohne Internet, etwa unterwegs oder in abgeschotteten Netzen.
- Keine laufenden Kosten pro Nutzung: Bezahlt wird die Hardware und der Strom, nicht jede Anfrage.
- Unabhängigkeit: Ein Modell, das auf deinem Rechner liegt, ändert sich nicht über Nacht, weil ein Anbieter etwas umstellt.
Nachteile und Grenzen
Der größte Haken ist die Rechenleistung. Sprachmodelle brauchen viel Arbeitsspeicher und am besten eine leistungsstarke Grafikkarte oder einen KI-Beschleuniger. Kleine Modelle laufen auf aktuellen Laptops ordentlich, die stärksten Modelle passen dagegen auf keinen normalen Bürorechner. In der Praxis heißt lokale KI deshalb oft: ein kleineres Modell mit spürbar schwächeren Ergebnissen.
Dazu kommt der Aufwand. Jemand muss Modelle auswählen, einrichten, aktualisieren und absichern. Und Datenschutz ist nicht automatisch erledigt: Auch lokal gespeicherte Transkripte von Gesprächen sind personenbezogene Daten, die geschützt, gelöscht und auf Anfrage beauskunftet werden müssen.
Viele Hersteller verbauen inzwischen eigene KI-Chips (NPUs) in Laptops und Smartphones. Damit laufen kleinere Aufgaben wie Rauschunterdrückung oder Live-Untertitel direkt auf dem Gerät – ein Trend, der die Grenze zwischen lokal und Cloud in den nächsten Jahren weiter verschieben dürfte.
Lokal, Cloud oder gemischt?
Die Entscheidung ist selten schwarz-weiß. Viele Lösungen kombinieren beides: Die Aufnahme bleibt auf dem Rechner, einzelne Rechenschritte laufen bei einem Dienst mit klar geregeltem Serverstandort, die Daten werden danach gelöscht. Wer abwägt, sollte drei Fragen stellen: Wie vertraulich sind die Inhalte wirklich? Wie gut muss das Ergebnis sein? Und wer kümmert sich um Technik und Updates?
Für einzelne Fachleute mit sehr sensiblen Daten und technischem Interesse kann lokale KI genau richtig sein. Für ein Team, das vor allem gute Ergebnisse ohne Wartungsaufwand braucht, ist eine sorgfältig ausgewählte Cloud-Lösung mit Verarbeitung in der EU oft die praktischere Wahl.
Lokal: Die Masterstudentin Lena Huber installiert ein offenes Spracherkennungsmodell auf ihrem Laptop. Die Transkription ihrer einstündigen Interviews dauert merklich länger als die Aufnahme selbst, die Daten verlassen den Rechner aber nie.
Cloud: Ihr Kollege nutzt einen Online-Dienst mit Verarbeitung in der EU. Das Transkript ist nach wenigen Minuten fertig; dafür prüft er vorher, wo die Daten verarbeitet und wann sie gelöscht werden, und klärt das mit seiner Betreuerin ab.
Dieser Eintrag dient der allgemeinen Information und ersetzt keine individuelle Beratung.