Lenovo запустила «фабрику токенов» ИИ для китайского рынка инференса

Lenovo запустила систему, которую называет фабрикой токенов ИИ, чтобы занять нишу на растущем в Китае рынке инференса, то есть запуска уже обученных моделей. Сложные задачи система направляет к более крупным моделям искусственного интеллекта, а простые взаимодействия — к меньшим.

Как распределяются задачи

Принцип работы — маршрутизация запросов по сложности. Крупные модели подключаются там, где нужно больше вычислительной мощности, а повседневные несложные диалоги обрабатывают облегчённые модели. Такой подход должен помочь эффективнее расходовать вычислительные ресурсы: не каждому запросу нужна самая большая модель.