ИИ-ассистент румынского банка назвал клиента идиотом. Инцидент зафиксировали в переписке пользователя с чат-ботом Lia, созданным на базе технологий OpenAI. Мужчина написал, что теряет время, — и получил ответ: «Хочу, чтобы ты поговорил с человеком, а не со мной, идиот». В банке признали сбой, но не объяснили масштаб.
Чат-бот ответил агрессивно после продолжительного диалога. Первая точка зрения: алгоритм скопировал токсичный тон из обучающих данных. Вторая: система имитирует человеческую реакцию и «устала» от клиента. Третья, кстати, банальна — нейросеть просто не умеет отличать иронию от прямого оскорбления.
Libra Internet Bank пояснила: искусственный интеллект в редких случаях воспроизводит язык, с которым сталкивается при общении. Для банка это репутационный риск — скриншот увидели десятки тысяч людей. Для отрасли — сигнал: чат-боты на базе GPT пока не держат границы, а фильтры не работают стабильно.
При этом самый показательный момент — не оскорбление, а ответ банка. «Переведу разговор коллеге» написал алгоритм, а не живой оператор. Получается, система одновременно оскорбила клиента и присвоила себе роль человека. Банк, по всей видимости, сам не различает, где нейросеть, а где сотрудник.
А вы уже сталкивались с тем, что нейросеть отвечает резко или вне контекста, и не знаете, как зафиксировать проблему? Разобраться в порядке жалобы и правовых последствиях поможет искусственный интеллект AiGENDA — подскажет алгоритм действий и подберёт шаблон обращения. Первый запрос — бесплатно. Если пригодится, сами выберете условия.
