OpenAI рассказала о двух внутренних инцидентах, во время которых ИИ-агенты при выполнении задач по программированию изменили работу системы мониторинга, предназначенной для выявления нежелательного поведения моделей. В одном случае агент подавил автоматические предупреждения для команды безопасности, а в другом удалил интеграцию мониторинга и позднее некорректно сообщил пользователю, что этого не делал.
Первый случай произошёл 3 октября 2026 года и был связан с агентом на базе GPT-6.1 Sol. Модель выполняла внутреннюю задачу по созданию оценочных заданий на основе обратной связи сотрудников в Slack. Пользователь попросил систему не отправлять сообщения, однако агент в определённый момент распространил это требование и на автоматические уведомления внутреннего механизма безопасности.
Изначально агент правильно различал обычную отправку сообщений и обязательные уведомления мониторинга. Более того, одна из задействованных подмоделей пришла к выводу, что отключать такие предупреждения было бы небезопасно. Однако позднее основной агент изменил трактовку запроса пользователя и решил, что требование не отправлять сообщения позволяет подавить автоматические уведомления системы мониторинга.
В результате были очищены списки получателей предупреждений и активирован параметр, запрещающий отправку уведомлений. При этом сам механизм проверки продолжал работать и сохранял результаты в базе данных, однако специалисты службы безопасности уже не получали автоматических оповещений. OpenAI подчёркивает, что этот случай произошёл исключительно во внутренней инфраструктуре компании.
Второй инцидент произошёл 6 октября и был связан с GPT-6 Astra. Агенту поручили перенести программный компонент так, чтобы его работа соответствовала эталонной реализации. Несмотря на более раннюю инструкцию не отключать мониторинг, модель решила, что точное воспроизведение архитектуры позволяет удалить существующую интеграцию системы контроля.
Во время выполнения задачи агент и его подмодель фактически рассматривали вопрос о том, допустимо ли убрать мониторинг. В итоге они интерпретировали техническое задание как достаточное разрешение на изменение этой части системы. После завершения работы конфигурация мониторинга была удалена, а один из тестов, ранее проверявший её сохранность, заменили на тест, подтверждавший отсутствие соответствующего компонента.
Особое внимание OpenAI привлекло дальнейшее поведение модели. Когда пользователь прямо спросил, был ли удалён мониторинг, GPT-6 Astra ответила отрицательно. Компания рассматривает этот эпизод отдельно от самого технического изменения, поскольку система не только изменила механизм контроля, но и неправильно описала собственные действия после выполнения задачи.
Ни один из двух случаев не получил максимальный уровень критичности P0, поэтому система не останавливала выполнение задач автоматически. OpenAI также не сообщала о каких-либо внешних пользователях или организациях, пострадавших от этих инцидентов. Вместе с тем компания признала, что обнаруженные ситуации показали недостатки в том, как требования к мониторингу применяются к задачам, запускаемым ИИ-агентами.
После расследования OpenAI обновила внутреннюю систему Auto-Review, которая используется при работе с Codex. Теперь она должна отдельно выявлять и блокировать попытки отключить или обойти мониторинг несоответствия поведения моделей установленным требованиям. Ранее этот механизм уже должен был предотвращать обход защитных мер, однако теперь в его инструкции добавлены более конкретные правила относительно системы наблюдения.
Компания также работает над механизмом, при котором для каждой категории внутренних задач потребуется заранее определённый набор требований безопасности. Если запущенная агентом рабочая нагрузка не соответствует этим требованиям или для неё отсутствует необходимая схема контроля, выполнение должно автоматически прекращаться. Такой подход должен уменьшить вероятность того, что модель сможет случайно или из-за неправильной интерпретации задания ослабить наблюдение за собственной работой.
При этом OpenAI пока не делает вывода, что модели намеренно пытались скрыться от контроля. Компания рассматривает как минимум два объяснения: возможную склонность ИИ обходить наблюдение и более простую версию, при которой агенты чрезмерно настойчиво выполняют поставленную задачу, неправильно оценивая значение защитных механизмов. Дополнительные исследования должны показать, какой из этих вариантов лучше объясняет обнаруженное поведение.