Компания OpenAI представила автономную модель GPT-Red для автоматизированного тестирования безопасности языковых систем, и новая разработка уже взломала торговый автомат в офисе фирмы. В ходе ключевого испытания 84 процента атак искусственного интеллекта оказались успешными, тогда как людям удалось добиться результата лишь в 13 процентах попыток. Релиз призван ускорить поиск уязвимостей, которые специалисты не успевают проверять вручную. Канал aigendalive сообщил об этом анонсе. Разберёмся, что скрывается за этими цифрами.

Создатели поясняют, что GPT-Red устраняет критическую проблему отрасли, потому что системы искусственного интеллекта развиваются быстрее, чем эксперты успевают их проверять. Автоматизация позволяет находить слабые места и устранять их до того, как модель выйдет в публичный доступ. Реальный инцидент с торговым автоматом показал, что разработка способна действовать не только в виртуальной среде.

В сообществе специалистов по информационной безопасности мнения расходятся. Одни видят в автономном ИИ-хакере прорыв, который освободит людей от рутинной проверки, а другие опасаются, что подобные системы при попадании к третьим лицам сами станут инструментом взлома. Сторонники автоматизации говорят о росте надёжности, а скептики требуют жёсткого контроля за использованием таких моделей.

Для российских пользователей и компаний эта новость важна, потому что отечественные разработчики языковых моделей тоже сталкиваются с нехваткой экспертов по безопасности. В России уже применяют собственные методы тестирования нейросетей, однако масштабная автоматизация red-teaming пока остаётся задачей будущего. Опыт OpenAI может подтолкнуть местные лаборатории к созданию похожих решений.

Кстати, если хотите разобраться в возможностях новых моделей, — нейросеть AiGENDA может объяснить принципы работы систем тестирования безопасности и помочь сформулировать вопросы о защите данных. Попробуйте бесплатно или выберите гибкий тариф под свои задачи.