Nota сократила число GPU для Solar Open 2 от Upstage с 8 до 2

Kimi K3 и экономия энергии

Технологию применили и к модели Kimi K3 китайской Moonshot AI с 2,8 трлн параметров. Раньше для неё требовалось восемь GPU Nvidia B300. Nota удалила часть модулей и подготовила две облегчённые версии, которые работают на шести и четырёх GPU соответственно. Kimi K3 построена на архитектуре «смесь экспертов» (MoE), где задействуются только нужные модули; Nota оценила важность каждого и убрала те, чей вклад ниже.

Компания также работает над снижением энергии, расходуемой при самом выполнении моделей. В эксперименте по оптимизации инференса на платформе AMD Ryzen AI Max+ 395 с моделью Qwen3 8B от Alibaba распределение задач между GPU и NPU сократило расход энергии на токен на 31% по сравнению с текущей гибридной средой AMD. Время формирования ответа уменьшилось до 52%.

Давление на дата-центры

Разработки появились на фоне растущей нагрузки ИИ-дата-центров на энергосети и водные ресурсы. По мартовскому опросу Gallup, около 70% взрослых американцев выступают против строительства таких центров рядом с домом, называя причинами влияние на окружающую среду и рост стоимости жизни. Национальная лаборатория Лоуренса в Беркли оценивает, что к 2030 году дата-центры будут потреблять 11,8% электроэнергии США; прогноз охватывает все дата-центры, а не только ИИ-объекты.

Nota поставляет производителям чипов лицензии на ПО и технологии оптимизации на основе платформы NetsPresso. Компания намерена развивать решения не только для GPU, но и для CPU и NPU, чтобы предприятия могли запускать ИИ на имеющихся мощностях без привязки к конкретному чипу. Технический директор Ким Тхэ Хо заявил, что компания расширит бизнес, повышающий вычислительную эффективность клиентов.