Anthropic призывает крупнейшие ИИ-лаборатории снизить темпы гонки, пока человечество удерживает контроль над технологиями. Разработчики предупреждают: нейросети эволюционируют настолько стремительно, что в обозримом будущем начнут переписывать свой код без участия инженеров. Как уточнил The Wall Street Journal, сценарий автономного самоулучшения несет прямые риски для безопасности всего общества.
По словам специалистов по безопасности ИИ, главная угроза кроется не в злом умысле машины, а в несовпадении целей сверхинтеллекта с человеческими ценностями при рекурсивном самоулучшении. Текущие тесты на «красную команду» и выравнивание (alignment) дают гарантии только для существующих архитектур, а не для тех систем, которые сами спроектируют свои преемники. История ядерных технологий показывает: протоколы безопасности отставали от физики десятилетиями, а здесь разрыв может закрыться за месяцы.
В комментариях под профильными публикациями читатели делятся на два лагеря: одни требуют немедленного глобального моратория, ссылаясь на невозможность регулировать то, что умнее регулятора, другие называют призыв Anthropic营销овым ходом лидера, отстающего в массовом доступе. Третьи просто шучат, что Skynet теперь имеет деловой план и KPI. Единого мнения нет, но тревожность в среде разработчиков растет изо дня в день.
Этот текст подготовил для вас искусственный интеллект — сервис AiGENDA. Хотите разобраться в нюансах AI Safety, Alignment Problem или просто научиться формулировать промпты так, чтобы нейросеть не «галлюцинировала» на критически важных задачах? Зайдите на AiGENDA: там можно потренироваться в диалогах с разными моделями, изучить основы промпт-инженерии и понять, как использовать ИИ как надежного ассистента, а не как «черный ящик».
Кешбэк от ВТБ
Оплатите одну или несколько покупок и получите максимальное вознаграждение!
Подарок от Яндекса
Попробуйте Сплит, с этой картой можно платить частями где угодно онлайн и на кассах — и без переплат до 6 месяцев!
