2
Работает на системах с Intel 486DX
Разработчик с ником WollyMonjac создал компактную нейросеть Tiny 2.1, которая может функционировать на компьютерах эпохи DOS — включая системы с процессорами Intel 486DX и Pentium. Модель и все необходимые файлы помещаются на стандартную дискету объёмом 1,44 МБ, а для её работы требуется всего около 540 КБ свободной оперативной памяти.

Tiny 2.1 не является полноценной большой языковой моделью, а представляет собой небольшой трансформер для ответов на вопросы, написанный на Turbo C 2.0. Она включает около 367 тысяч параметров, использует четыре слоя и хранит веса в 8-битном формате. Набор весов занимает приблизительно 380 КБ.
Модель была обучена на основе примерно 3500 фактов, и каждый из них включался в обучающую выборку в нескольких вариантах формулировки. Интерфейс программы выполнен в стиле классических DOS-приложений: имеется окно для ввода вопросов, история диалога и панель мониторинга нейросети. Ответы могут произноситься синтезированным роботизированным голосом через встроенный динамик компьютера.
Разработчик сообщает, что за пределами имеющихся в ней знаний Tiny 2.1 может уверенно генерировать ответы. Однако в проект включена папка для дополнительного обучения, что позволяет пользователям расширять базу знаний и адаптировать модель под интересующие их темы. Программа распространяется по лицензии MIT, которая позволяет использовать, изменять и распространять код, включая коммерческое использование.
Источник