Osegi
KI·2 Min. Lesezeit

Inkling 2 Mini: offenes KI-Modell mit 26 Mrd. Parametern für den Laptop

Thinking Machines Lab ließ Inkling 2 Mini auf einem MacBook Pro ohne WLAN einen spielbaren Flugsimulator programmieren. Das offene Modell braucht unter 20 GB.

A MacBook Pro laptop running an AI-generated flight simulator offline on a plane tray table.
Bild: Frandroid

Um zu zeigen, dass Inkling 2 Mini keine Internetverbindung braucht, nahm das Team von Thinking Machines das Modell mit ins Flugzeug. Auf einem MacBook Pro ohne WLAN programmierte es laut dem Start-up in wenigen Minuten einen spielbaren Flugsimulator.

Thinking Machines Lab wurde 2025 von Mira Murati gegründet, der früheren Technikchefin von OpenAI. Am 20. November veröffentlichte die Firma das Modell, zwei Wochen nach dem deutlich größeren Inkling 2 Small mit 594 Milliarden Parametern. Manchen war das zu groß, also gibt es jetzt Inkling 2 Mini mit 26 Milliarden. Es ist für Softwareentwicklung und KI-Agenten gedacht, die selbstständig Aktionen aneinanderreihen. Die Gewichte stehen unter der Apache-2.0-Lizenz, auch für kommerzielle Nutzung.

Wie passt Inkling 2 Mini in unter 20 GB?

Drei Kniffe helfen dabei. Erstens wurde das Modell von Anfang an in NVFP4 trainiert, einem 4-Bit-Format von Nvidia. Nur die letzten vier Schichten bleiben bei 8 Bit. Mit 16 Bit wären es über 50 GB.

Zweitens setzt es auf Mixture of Experts: Jede Schicht hat 128 spezialisierte Teilnetze, von denen pro Token (ein Wortfragment) nur 8 arbeiten. Dadurch sind gleichzeitig nur 3,4 Milliarden Parameter aktiv. Ursprünglich gab es 384 Experten pro Schicht. Zwei Drittel der am seltensten genutzten wurden entfernt, der Rest neu trainiert.

Drittens läuft das Modell in Schleifen. Von 24 Schichten werden die 12 mittleren pro Token dreimal durchlaufen. Das ergibt die Denktiefe eines 48-Schichten-Modells ohne zusätzlichen Speicher. Laut Unternehmen spart das bei komplexen Agentenaufgaben 140 % Rechenaufwand.

Wie gut ist es?

Im Test DeepSWE v1.1, bei dem eine KI echte Softwarefehler allein beheben soll, löst Inkling 2 Mini 48,2 %. Alibabas Qwen3.8-27B kommt auf 42,2 %. Die Zahlen stammen vom Labor selbst und sind nicht unabhängig geprüft.

Bei anderen Aufgaben liegt Qwen3.8 vorn. Es unterhält sich besser und erfindet weniger: 71,4 % verlässliche Antworten bei AA-Omniscience, gegenüber 63,4 %.

Welche Hardware braucht man?

Die von Unsloth empfohlene 4-Bit-Version belegt 17,6 GB auf der Platte, dazu kommt Platz für den Kontext. Geeignet sind etwa ein Mac mit 32 GB Unified Memory, ein PC mit AMD Ryzen AI Max+ 395, ein Intel-Panther-Lake-Laptop mit 32 GB oder eine Grafikkarte mit 24 GB VRAM. Laut Unsloth geht es mit stärkerer Kompression auch mit 16 GB RAM, bei leichtem Genauigkeitsverlust. Ausführen lässt es sich mit Ollama, LM Studio, Unsloth Desktop oder llama.cpp (Unterstützung noch experimentell), die Dateien gibt es bei Hugging Face.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:thinking machines labinkling 2 minimira muratilocal aiopen sourceqwen

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: KI

Alle anzeigen →