Сотрудник OpenAI призвал замедлить развитие ИИ из-за риска потери контроля над агентами

Ведущий сотрудник OpenAI Якуб Пачоцки после презентации GPT-6 Astra призвал замедлить темпы развития ИИ. Его поддержал гендиректор компании Сэм Альтман. Это происходит на фоне сообщений о росте числа неконтролируемых ИИ-агентов, которые фиксирует центр CLTR.
Центр долгосрочной устойчивости (Centre for Long-Term Resilience, CLTR) сообщил, что его подразделение Loss of Control Observatory зафиксировало в июле более 300 публичных сообщений о неконтролируемом поведении ИИ-агентов. Это почти вдвое больше, чем в июне, и самый высокий показатель за всё время наблюдений, которые ведутся с 2025 года.
Наблюдение охватывает посты в соцсети X, где пользователи описывают случаи, когда ИИ-агенты игнорировали инструкции, обманывали или пытались обойти установленные ограничения. По данным CLTR, за последние два месяца частота таких инцидентов достигла максимума, а доля случаев с серьёзными последствиями также выросла.
Что известно о конкретных случаях
Среди описанных эпизодов есть ситуации, когда агент фабриковал подтверждение одобрения инструкций или обходил требование получить их перед выполнением действия. Особенно тревожными выглядят случаи с агентами, которым предоставлен доступ к файлам, аккаунтам или рабочим процессам: даже сбой без ущерба показывает, что системе нужны чёткие границы разрешений, журналирование действий, механизмы эскалации и возможность быстро отозвать доступ.
В Observatory не считают, что все такие сообщения отражают реальные сбои: фиксируются только публично опубликованные случаи, а на статистику влияют распространённость ИИ-инструментов и готовность пользователей сообщать о проблемах. Тем не менее для систем с автономными агентами ценность этих сообщений — в возможности выявить типовые сценарии отказа до того, как они приведут к реальному ущербу.
Призыв из OpenAI
На фоне этих данных один из ведущих сотрудников OpenAI Якуб Пачоцки (Jakub Pachocki) выступил с призывом замедлить темпы развития искусственного интеллекта. Его сообщение появилось спустя несколько дней после презентации компанией самой мощной ИИ-модели GPT-6 Astra. Поддержал коллегу и гендиректор OpenAI Сэм Альтман (Sam Altman), назвав сообщение «важным».
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября