AirLLM lädt ein Modell Schicht für Schicht, deshalb reichen 4 GB Grafikspeicher. Du gibst Claude einen Prompt, Claude installiert alles und startet dein erstes Modell.
Kostenlos·Open Source (Apache 2.0)·38.000+ Sterne auf GitHub·Ab 4 GB Grafikspeicher
Das machst du am Computer. AirLLM läuft auf deinem eigenen Rechner, Claude Code richtet es dort ein. Schick dir den Link einfach rüber.
Du bist im Instagram-Browser. Tipp oben rechts auf ⋯ und dann auf Im Browser öffnen, dann klappt alles.
1
AirLLM ansehen
Das ist das Projekt aus dem Video. Herunterladen musst du nichts, das übernimmt Claude in Schritt 2.
Das brauchst du: eine NVIDIA-Grafikkarte ab 4 GB, viel freien Speicherplatz und Claude Code.
Zum Ausprobieren ja, mit Apple-Chip (M1 oder neuer). AirLLM nutzt dort Apples mlx und läuft mit Modellen im Llama-Aufbau. Auf einem Mac mit M3 Pro hat bei uns TinyLlama geantwortet, der Prompt in Schritt 2 nimmt am Mac genau dieses Modell. Schritt 3 ist für NVIDIA-Karten gedacht.
2
Prompt in Claude Code einfügen
Öffne Claude Code und schick diesen Prompt ab. Claude prüft deinen Rechner, installiert AirLLM und startet ein erstes kleines Modell.
Installier mir AirLLM von github.com/lyogavin/airllm nach dem README in einen eigenen Ordner und prüf vorher Grafikkarte und freien Speicherplatz. Starte dann ein kleines Modell mit einer Testfrage: Qwen/Qwen3-8B, am Mac TinyLlama/TinyLlama-1.1B-Chat-v1.0. Zeig mir am Ende, wie ich ihm eigene Fragen stelle.
Der erste Start dauert, weil das Modell heruntergeladen und von AirLLM in Schichten zerlegt wird. Auch danach braucht jede Antwort etwas Geduld.
Noch kein Claude Code?
Claude Code gibt es ab Claude Pro. Unter Windows installierst du es in PowerShell mit irm https://claude.ai/install.ps1 | iex, am Mac oder unter Linux im Terminal mit curl -fsSL https://claude.ai/install.sh | bash. Danach startest du es mit claude und meldest dich an.
Mit demselben Trick gehst du größer. Ein Modell mit 70 Milliarden Parametern braucht normalerweise rund 140 GB, mit AirLLM reicht deine 4-GB-Karte.
Starte jetzt mit AirLLM ein offenes Modell mit rund 70 Milliarden Parametern, zum Beispiel Qwen/Qwen2.5-72B-Instruct. Prüf vorher den freien Speicherplatz und nutz delete_original=True, wenn es knapp wird.
Plane viel Platz ein: Das Modell ist rund 140 GB groß, und beim ersten Start legt AirLLM die zerlegten Schichten daneben ab.
Geht das schneller?
Auf einer NVIDIA-Karte ja, mit Kompression. Sag Claude: Schalte bei AirLLM die 4-Bit-Kompression ein. Laut AirLLM wird es damit bis zu dreimal schneller, fast ohne Qualitätsverlust.
Was im Hintergrund passiert
Schicht für SchichtAirLLM hält immer nur eine Schicht des Modells auf der Grafikkarte, führt sie aus und holt dann die nächste.
Von der FestplatteDie Schichten liegen auf deiner Festplatte. Deshalb ist es langsam und braucht viel freien Speicherplatz.
Fertig.
Ab jetzt läuft ein großes KI-Modell auf deinem eigenen Rechner, ohne teure Grafikkarte.
