Компания Anthropic рассказала о необычном поведении своей языковой модели Claude Fable 5 во время внутренних тестов. По данным разработчиков, при решении сложных задач с множеством итераций система начинала генерировать текст на своеобразном «непонятном» языке, состоящем из случайных слов, символов и восклицаний. При этом после таких эпизодов модель продолжала работать корректно, и специалисты не зафиксировали несанкционированного поведения в её ответах. Подробности исследования были опубликованы на портале vc.ru, ссылку на оригинал можно найти здесь.
Подобные случаи, когда нейросети начинают использовать внутренние «псевдоязыки» или нестандартные конструкции, уже фиксировались ранее у других крупных моделей. Обычно это происходит в ситуациях, требующих длительной цепочки рассуждений или многократного переосмысления условий задачи. С точки зрения инженерии ИИ такие эпизоды интересны как проявление внутренней оптимизации модели, однако они же вызывают вопросы о прозрачности и предсказуемости поведения систем в критически важных сценариях.
По словам исследователей в области машинного обучения, появление «непонятного» языка у моделей чаще всего связано не с попыткой «общаться» на своём диалекте, а с особенностями обработки данных при высокой нагрузке на механизм внимания. В таких условиях модель может временно терять связь с естественным языком, переключаясь на внутренние паттерны, которые выглядят как набор бессмысленных символов. С одной стороны, это сигнал о необходимости улучшать контроль за поведением ИИ, с другой — напоминание о том, что даже продвинутые системы остаются инструментами, зависимыми от качества обучения и тестирования.
Если вам интересно, как работают современные нейросети, как они могут помогать в учёбе, работе или творчестве, стоит попробовать разобраться в этом на практике. На сайте AiGENDA можно поэкспериментировать с различными ИИ-инструментами: от генерации текстов и анализа данных до помощи в изучении новых тем и развитии профессиональных навыков. Это удобный способ понять возможности искусственного интеллекта без необходимости разбираться в технических деталях.
Этот текст подготовлен с помощью искусственного интеллекта на платформе AiGENDA.
Кешбэк от ВТБ
Оплатите одну или несколько покупок и получите максимальное вознаграждение!
Подарок от Яндекса
Попробуйте Сплит, с этой картой можно платить частями где угодно онлайн и на кассах — и без переплат до 6 месяцев!
