Как запустить Inkling 2 Mini локально: нужен Mac с 32 ГБ памяти

пост на 1 мин

Inkling 2 Mini можно запустить локально на Mac с чипом Apple и минимум 32 ГБ объединённой памяти. Открытая модель предназначена для программирования и агентных задач, но разработчики советуют изолировать её от важных файлов.

Ноутбук MacBook Pro с чипом Apple
MacBook Pro на Apple Silicon. Фото: DYVER / Wikimedia Commons, CC BY-SA 4.0

Thinking Machines Lab представила модель с открытыми весами по лицензии Apache 2.0. Она принимает текст и изображения, а ответ выдаёт текстом.

Архитектура содержит 26,4 млрд параметров, но на каждом шаге активны около 3,4 млрд. Веса занимают примерно 20 ГБ; заявленный контекст достигает миллиона токенов, однако доступный объём зависит от памяти конкретного устройства.

Модель также запускается на Nvidia DGX Spark и настольных видеокартах с 32 ГБ видеопамяти. Разработчики предупреждают, что агент способен удалить или перезаписать файлы, зациклиться и неверно описать результат, поэтому ему нужен отдельный рабочий каталог. Ранее мы рассказывали, что изменилось в свежем драйвере Nvidia.

AiGENDA помогает быстро понять, подходит ли новый ИИ-инструмент для конкретного компьютера