Osegi
ИИ·1 мин чтения

TINY 2.1: языковая модель для DOS работает на 486 и влезает на дискету

TINY 2.1 — крошечный трансформер на Turbo C 2.0. Он запускается под DOS на Pentium или 486DX, помещается на одну дискету и говорит через PC-speaker.

A beige 486-era PC running a neon-styled text interface next to a 3.5-inch floppy disk.
Фото: Хабр

Может ли языковая модель уместиться на дискете? TINY 2.1 доказывает, что может. Этот открытый проект работает под DOS на старом Pentium или 486DX и вдобавок разговаривает через динамик системного блока.

Автор подписывается как WollyMonjac. По его словам, делал он проект с помощью нейросетей Fable 5.2 и Opus 5.5. Написано всё на Turbo C 2.0, компиляторе из эпохи, когда DOS был обычной рабочей системой.

Что такое TINY 2.1 и сколько в ней параметров

Это трансформер, то есть архитектура того же семейства, что и у больших языковых моделей, только ужатая до предела. В ней 367 тысяч параметров, 4 слоя и размерность 96. Ввод и вывод идут посимвольно.

Веса хранятся в 8 битах, с одним коэффициентом масштабирования на каждую строку. Всего получается 380 КБ, так что файл спокойно помещается на дискету. Для запуска нужно около 540 КБ свободной основной памяти (conventional memory), той самой первой и самой тесной области оперативки в DOS.

Отвечает ли TINY 2.1 на любые вопросы

Нет. Модель обучили примерно на 3500 фактах, и каждый из них записан в разных формулировках. Стоит выйти за рамки этих данных, и она уверенно «выдумывает» ответы. Как и её большие родственницы, только в миниатюре.

Оформление тоже запоминается. Программа показывает полноэкранный интерфейс в стиле «неон» и в реальном времени рисует работу нейросети. Ответы озвучивает «роботизированный» голос через PC-speaker, тот самый динамик, который раньше умел только пищать при загрузке.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:tiny 2.1doslanguage modelretro computing486turbo c

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →