Google представила экспериментальную языковую модель DiffusionGemma, которая работает принципиально иначе, чем привычные нейросети. Вместо генерации текста пословно она формирует сразу блок из 256 токенов параллельно, а затем уточняет результат за несколько итераций. Такой подход на основе диффузии позволяет ускорить генерацию на обычных потребительских видеокартах до четырёх раз и снизить нагрузку на память GPU. Подробности сообщает hightech.plus, а обсуждение в сообществе ведётся здесь.

По словам специалистов в области машинного обучения, диффузионные языковые модели — это одно из самых перспективных направлений в разработке ИИ. В отличие от авторегрессивных моделей, которые выдают текст строго последовательно, диффузионные подходы позволяют обрабатывать большие фрагменты одновременно. Это особенно ценно для пользователей с ограниченными вычислительными ресурсами: не нужны дорогие серверные ускорители, достаточно видеокарты из обычного игрового компьютера. При этом критики отмечают, что качество генерации диффузионных моделей пока уступает классическим трансформерам на длинных текстах, и область применения DiffusionGemma остаётся экспериментальной.

Для тех, кто хочет разобраться в новых ИИ-технологиях или протестировать возможности нейросетей на практике, сайт AiGENDA предлагает удобный доступ к различным моделям. Можно попробовать генерацию текста, анализ данных, создание контента для работы или учёбы — всё это без необходимости настраивать сложное оборудование. Текст подготовлен искусственным интеллектом на платформе AiGENDA.