2
Inkling 2 Mini имеет 26,4 миллиарда параметров, но для обработки каждого токена активирует лишь часть из них
Thinking Machines Lab, созданная бывшими сотрудниками OpenAI, представила Inkling 2 Mini — открытую модель искусственного интеллекта, предназначенную для программирования, работы с инструментами и выполнения длительных многоэтапных задач. Разработчики утверждают, что она превосходит другие открытые модели с менее чем 100 миллиардами параметров в ряде тестов программирования. Например, на DeepSWE v1.1 модель показала 48,2%, а на Vals Index v2.2 — 46,5%.
Основная особенность Inkling 2 Mini — архитектура looped transformer, в которой средние слои нейросети повторно обрабатывают каждый входящий токен. Модель состоит из 24 слоёв, сгруппированных в 4 блока по 6 слоёв. Первые и последние 6 слоёв выполняют вычисления один раз, а 2 средних блока обрабатываются трижды. Это позволяет увеличить глубину вычислений без пропорционального увеличения количества параметров. Архитектура относится к классу Mixture of Experts (MoE, «смесь экспертов»): из общего числа 26,4 миллиарда параметров активны 3,4 миллиарда, а с учётом повторных проходов через слои объём активируемых весов достигает 5,4 миллиарда на токен.
Повторная обработка позволяет модели выполнять дополнительные вычисления до формирования ответа. В стандартных LLM-моделях значительная часть многоэтапных рассуждений проявляется в виде цепочки мыслей (Chain of Thought, CoT) — последовательности промежуточных рассуждений, подлежащих анализу. В Inkling 2 Mini часть вычислительных операций осуществляется внутри нейросети, что позволяет модели решать задачи с меньшим числом токенов. Это особенно важно для программирования и других задач, где ИИ должен выполнять длинные последовательности действий.

В отдельной исследовательской версии с переменным числом повторных проходов Thinking Machines исследовала, как архитектура влияет на способность решать задачи без отображения промежуточных рассуждений. При увеличении числа проходов с 1 до 3 временной горизонт таких вычислений увеличился с 16 до 37 секунд. На тесте последовательных логических операций улучшение сохранялось до 10 проходов, хотя модель обучали максимум на 5. При этом цепочки рассуждений становились короче, но, по мнению разработчиков, оставались читаемыми. Компания также не зафиксировала значительного ухудшения результатов тестов на скрытое вредоносное поведение при увеличении числа проходов.
Весовая часть Inkling 2 Mini занимает приблизительно 20 ГБ. Разработчики продемонстрировали работу модели без подключения к интернету на MacBook Pro: она за считанные минуты создала работающий авиасимулятор. Для запуска на компьютерах Mac компания устанавливает минимальное требование в 32 ГБ оперативной памяти.
Inkling 2 Mini распространяется с открытыми весами: их можно загрузить и использовать для локального запуска, а также адаптировать модель под свои задачи. Она доступна через Hugging Face. Однако разработчики указывают на ограничения: модель уступает более крупным системам в некоторых сложных задачах на рассуждение и не является оптимальным выбором для многоэтапного диалога с большим количеством одновременно заданных инструкций. Результаты тестирования, включая заявления о лидерстве среди открытых моделей своего размерного класса, представлены самой Thinking Machines Lab и на данный момент не имеют независимого подтверждения.
Источник