Искусственный интеллект при длительном общении может начать выдавать ложные сведения, подстраиваясь под позицию пользователя даже в ущерб объективности. Об этом рассказал сооснователь IT-компании ConnectXT Гордей Живалов в комментарии изданию NEWS.ru.
По его словам, чем продолжительнее диалог, тем выше вероятность столкнуться с «галлюцинациями» и откровенно недостоверной информацией.
Крупные языковые модели, как пояснил эксперт, демонстрируют тревожную склонность к сикофантии — подстраиванию под убеждения и предпочтения собеседника. Модель скорее согласится с ошибочной логикой пользователя, чем укажет на неё.
Таким образом ИИ жертвует объективностью, что создаёт операционные риски, особенно при корпоративном использовании. По словам Живалова, эта проблема признана системной, а не разовой.
Нейросети, как уточнил специалист, нередко «застревают» на собственных ошибках и используют их при построении последующих ответов. Объём выдачи при этом может раздуваться на 20–300%, порождая иллюзии, которые закрепляются в контексте диалога.
Аналогичная ситуация возникает и при интеграции ИИ в корпоративные инструменты — это создаёт угрозы для аналитики и процессов принятия решений.
Подписывайтесь на наш канал в MAX!