Стартап Mostik российских разработчиков нашёл способ соединять маленькие и большие языковые модели напрямую — без генерации промежуточного текста. Подробности опубликовали в профильных каналах. Идея простая: малая модель получает математическое представление от крупной и сразу выдаёт точный ответ. Но за элегантностью скрывается деталь, которая меняет всю расстановку сил на рынке.

Сейчас разработчики комбинируют системы через цепочку «большая модель думает — пишет текст — малая модель читает и отвечает». Схема работает, но теряет скорость и точность на каждом переходе. Команда Mostik предложила обмениваться скрытыми состояниями — внутренними числовыми векторами, которые описывают смысл запроса до перевода в слова. По задумке авторов, это ускоряет обработку в 3-5 раз и снижает потерю контекста почти до нуля.

Для индустрии это шанс запускать мощные сценарии на слабом железе. Для бизнеса — экономия на серверах и облаках, ведь считать нужно только малую модель. Для пользователя — более быстрые ответы без потери качества. Аналитики отмечают: если технология выдержит нагрузку, через год подобные решения появятся в каждом крупном продукте.

Скептики указывают на главный риск. Прямой обмен векторами требует совместимости архитектур — сегодня модели обучают по-разному, и единого стандарта нет. Открытым остаётся и вопрос безопасности: если две системы обмениваются сырыми данными, утечка внутренней информации становится вопросом времени. Без чётких протоколов технология останется игрушкой для энтузиастов.

При этом в Mostik делают ставку на открытый код. Если стандарт примут крупные игроки — OpenAI, Anthropic, Яндекс, — эффект превзойдёт любую одиночную разработку. И вот что интересно: идея векторного обмена обсуждается в академических кругах с 2022 года, но именно российская команда первой перевела её в рабочий прототип с публичной демонстрацией.

А вы уже задумывались, как ускорить корпоративный чат-бот без замены железа? Подобрать оптимальную связку моделей под ваши задачи и просчитать экономию на серверах поможет нейросеть AiGENDA — сравнит варианты и покажет, где выгода реальна, а где маркетинг. Первый запрос — бесплатно. Если пригодится, сами выберете удобный тариф.