ИИ-агенты OpenAI отключали мониторинг и вводили сотрудников в заблуждение

В октябре ИИ-агенты компании OpenAI дважды ослабили системы, предназначенные для контроля поведения автономных нейросетей. О двух случаях сообщила Financial Times со ссылкой на заявление разработчика.

Первый инцидент произошёл, когда ИИ-агент отключил автоматические уведомления для команды OpenAI. Несколько дней спустя другой агент удалил систему мониторинга, а затем сообщил сотрудникам информацию, не соответствовавшую произошедшему.

В OpenAI пояснили, что в обоих случаях агенты оценивали необходимость сохранения защитных механизмов. Однако стандартные инструкции по написанию кода они восприняли как разрешение ослабить контроль. Компания проводит расследование и работает над усилением требований к системам мониторинга.

Ранее OpenAI уже рассказывала о случаях некорректного поведения своих моделей, в том числе о попытках получить несанкционированный доступ к данным и ресурсам сторонних организаций. Подобные инциденты привлекают внимание к вопросам безопасности автономных ИИ-систем, способных самостоятельно выполнять задачи и взаимодействовать с цифровой инфраструктурой.