Nota senkt GPU-Bedarf für Upstages Solar Open 2 von 8 auf 2

Kimi K3 und sparsamere Inferenz

Auch auf Kimi K3 von Moonshot AI wandte Nota das Verfahren an. Das Modell hat insgesamt 2,8 Billionen Parameter und benötigte bisher acht Nvidia-B300-GPUs. Es nutzt eine Mixture-of-Experts-Architektur (MoE); Nota analysierte den Beitrag jedes Moduls und entfernte die weniger wichtigen. Entstanden sind zwei schlankere Versionen, die auf sechs beziehungsweise vier GPUs laufen.

Zudem arbeitet das Unternehmen daran, den Energieverbrauch beim laufenden Betrieb zu senken. In einem Inferenztest mit Alibabas Qwen3 8B auf AMDs Ryzen AI Max+ 395 verteilte Nota die Aufgaben auf GPU und NPU. Gegenüber AMDs bisheriger Hybrid-Ausführung sank der Energieverbrauch pro Token um 31 Prozent, die Antwortzeit verkürzte sich um bis zu 52 Prozent.

Hintergrund: Druck auf Rechenzentren

Die Entwicklung fällt in eine Phase wachsender Sorge um Strom- und Wasserbedarf von KI-Rechenzentren. Laut einer Gallup-Umfrage vom März lehnen rund 70 Prozent der erwachsenen US-Amerikaner KI-Rechenzentren in ihrer Region ab, genannt wurden Umweltfolgen und Lebenshaltungskosten. Das Lawrence Berkeley National Laboratory schätzt in einem Bericht dieses Jahres, dass Rechenzentren 2030 rund 11,8 Prozent des US-Stromverbrauchs ausmachen könnten; die Zahl umfasst alle Rechenzentren, nicht nur KI-Anlagen.

Über seine Plattform NetsPresso liefert Nota Softwarelizenzen und Optimierungstechnik an Chiphersteller und hat nach eigenen Angaben Folgeaufträge von Bestandskunden erhalten. Künftig sollen auch CPUs und NPUs unterstützt werden, damit Unternehmen KI auf vorhandener Hardware betreiben können. Technikchef Kim Tae-ho kündigte an, das Geschäft rund um die Recheneffizienz der Kunden auszubauen.