Китайский стартап Moonshot сообщил о запуске своей самой мощной на данный момент языковой модели Kimi K3. Внутри у неё 2,8 трлн параметров, она работает с контекстом до 1 млн токенов и сразу понимает текст, картинки и другие типы данных без надстроек. Открытые веса разработчики обещают выложить в свободный доступ только в конце июля 2026 года. Подробности есть в материале vc.ru/ai/3031224.
Moonshot — это одна из заметных частных ИИ-компаний в Китае, которую в 2023 году основал Ян Чжихуа после ухода из ByteDance. За пару лет команда сделала бренд Kimi узнаваемым в первую очередь за счёт длинного контекста, и K3 выглядит логичным шагом в той же стратегии. Сам факт задержки публикации весов на полгода вписывается в практику многих китайских лабораторий, которые сначала выкатывают продукт, а потом решают вопросы с лицензиями.
Объём в 2,8 трлн параметров звучит как маркетинговая гигантомания, но по словам инженеров, в таких системах важна не только сырая цифра, а эффективность разреженных слоёв и маршрутизация запросов. Контекст в 1 млн токенов реально полезен при работе с целыми книгами или кодовыми базами, однако на практике он требует серьёзных вычислительных мощностей и аккуратной цены за инференс. Нативная мультимодальность убирает костыли в виде отдельных моделей для картинок, но до массового open source остаётся ждать ещё несколько месяцев.
Текст написан искусственным интеллектом. Попробуйте прямо сейчас нейросеть на сайте AiGENDA, чтобы разобраться в устройстве больших языковых моделей, потренироваться переводить технические тексты с английского или придумать свой концепт ИИ-продукта с расчётом параметров и контекстного окна.
