Новая ИИ-модель от Thinking Machines: 20 ГБ и ноутбук для работы без границ

⁠2

Inkling 2 Mini включает 26,4 миллиарда параметров, но для обработки каждого токена активирует только их часть

Thinking Machines Lab, основанная бывшими сотрудниками OpenAI, анонсировала Inkling 2 Mini — открытую модель ИИ, предназначенную для программирования, работы с инструментами и выполнения длительных многоэтапных задач. Создатели утверждают, что она превосходит другие открытые модели с менее чем 100 миллиардами параметров в различных тестах программирования. Например, на DeepSWE v1.1 модель продемонстрировала результат 48,2%, а на Vals Index v2.2 — 46,5%.

Ключевой особенностью Inkling 2 Mini является архитектура looped transformer, в которой средние слои нейросети обрабатывают каждый входящий токен несколько раз. Модель состоит из 24 слоёв, организованных в 4 блока по 6 слоёв. Первые и последние 6 слоёв выполняют вычисления один раз, тогда как два средних блока проходят обработку трижды. Это позволяет увеличить глубину вычислений без пропорционального роста числа параметров. Архитектура относится к классу Mixture of Experts (MoE, «смесь экспертов»): из общего числа 26,4 миллиарда параметров активно используются 3,4 миллиарда, а с учётом повторных проходов через слои объём активируемых весов достигает 5,4 миллиарда на токен.

Повторная обработка позволяет модели выполнять дополнительные вычисления до формирования ответа. В стандартных LLM-моделях значительная часть многоэтапных рассуждений представлена в виде цепочки мыслей (Chain of Thought, CoT) — последовательности промежуточных выводов, которую можно проанализировать. В Inkling 2 Mini часть вычислительной работы происходит внутри нейросети, что позволяет сократить количество необходимых токенов. Это особенно критично для программирования и других задач, где ИИ должен выполнять длинные последовательности действий.

Источник изображения: Thinking Machines

В отдельной исследовательской версии с переменным количеством повторных проходов Thinking Machines исследовали, как архитектура влияет на способности решения задач без отображения промежуточных рассуждений. При увеличении числа проходов с 1 до 3 временной горизонт таких вычислений увеличился с 16 до 37 секунд. На тесте последовательных логических операций улучшение сохранялось вплоть до 10 проходов, хотя модель обучали максимум на 5. При этом цепочки рассуждений становились короче, но, по мнению разработчиков, оставались читабельными. Компания также не зафиксировала заметного ухудшения результатов тестов на скрытое вредоносное поведение при увеличении числа проходов.

Весовая часть Inkling 2 Mini занимает примерно 20 ГБ. Создатели продемонстрировали работу модели без доступа к интернету на MacBook Pro: она за несколько минут создала функционирующий авиасимулятор. Для запуска на компьютерах Mac компания указывает минимальное требование в 32 ГБ оперативной памяти.

Inkling 2 Mini доступна с открытыми весами: их можно скачать и использовать для локального запуска, а также адаптировать модель под собственные нужды. Она доступна через Hugging Face. При этом разработчики подчеркивают ограничения: модель уступает более крупным системам в некоторых сложных задачах на рассуждение и не является оптимальным выбором для многоэтапного диалога с множеством одновременно заданных инструкций. Результаты тестирования, включая заявления о лидерстве среди открытых моделей своего размерного класса, представлены самой Thinking Machines Lab и пока не подтверждены независимыми источниками.

Источник
Оцените статью
Pandia