VC ⋮ Экс-глава OpenAI Мурати показала нейросеть TML-Interaction

пост на 3 мин
Поделиться
Поделиться статьёй
Спросить ИИ
Вопрос по теме статьи

Вопрос можно изменить. Если сервис не поддерживает ссылку с вопросом, текст будет скопирован.

Тематическая иллюстрация AiGENDA: VC ⋮ Экс-глава OpenAI Мурати показала нейросеть TML-Interaction
Иллюстрация AiGENDA

Стартап Thinking Machines Lab, основанный бывшим техническим директором OpenAI Мирой Мурати, впервые продемонстрировал собственную разработку под названием TML-Interaction. Речь идёт о так называемой «модели взаимодействия», задача которой — сделать общение с ИИ максимально похожим на живой человеческий диалог. Представленная система умеет одновременно обрабатывать аудио и видео, «обдумывать» ответ перед его озвучиванием и быстро реагировать на перебивания, сама при этом способна вести «перебивание» собеседника. Кроме того, нейросеть способна параллельно искать информацию в интернете и визуализировать данные прямо в ходе беседы. По сути, перед нами попытка превратить взаимодействие с искусственным интеллектом из формата «директивных команд» в формат полноценного диалога, в котором ИИ ведёт себя как полноценный участник разговора, а не как голосовой ассистент, отвечающий strictly на запросы. (Источник: vc.ru/ai/2922221)

TML-Interaction представляет собой принципиально другой подход к архитектуре ИИ. Классические большие языковые модели работают с текстом — получают запрос, генерируют ответ. Здесь же система объединяет несколько модальностей: она «слышит» голос пользователя, «видит» его через камеру, обрабатывает контекст и выстраивает ответ, который учитывает не только слова, но и интонацию, мимику, визуальный контекст. Такой подход имеет очевидный плюс — коммуникация становится естественнее и быстрее, ведь не нужно формулировать чёткий текстовый запрос. Минус на данном этапе тоже виден: чем больше модальностей обрабатывается одновременно, тем больше вычислительных ресурсов требуется, а значит и стоимость каждого сеанса будет существенно выше, чем у обычного текстового диалога с нейросетью.

По данным аналитиков, индустрия ИИ движется в сторону именно таких мультимодальных решений. OpenAI сама экспериментирует с голосовыми и визуальными функциями в ChatGPT, Google работает над Gemini Live, а сейчас к ним присоединилась ещё одна серьёзная команда — людей, которые ранее строили ключевые продукты OpenAI. Вопрос в том, насколько Thinking Machines Lab сможет реализовать заявленный потенциал на практике и вывести продукт за пределы демо-версии, доступной ограниченному кругу пользователей.

Если говорить о перспективах, подобные инструменты с мультимодальным взаимодействием могут найти применение в образовании, онлайн-консультациях, творчестве и повседневных задачах — от изучения языков до помощи в работе с документами и визуализацией данных. Пока продукт только стартовал, но сама идея показывает, куда движется рынок: к тому, чтобы ИИ был не просто инструментом для генерации текста, а полноценным собеседником.

Данный материал написан с использованием искусственного интеллекта. Вы тоже можете воспользоваться возможностями нейросети на сайте AiGENDA — например, загрузить аудио или видео и получить структурированный разбор, подготовить материалы для учёбы, создать контент для социальных сетей, изучить новый язык или просто обсудить интересующую тему с ИИ, который умеет работать одновременно с текстом, изображениями и звуком. Попробовать это можно прямо сейчас на сайте AiGENDA.