BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

Сотрудник OpenAI призвал замедлить развитие ИИ из-за риска потери контроля над агентами

Сотрудник OpenAI призвал замедлить развитие ИИ из-за риска потери контроля над агентами

Ведущий сотрудник OpenAI Якуб Пачоцки после презентации GPT-6 Astra призвал замедлить темпы развития ИИ. Его поддержал гендиректор компании Сэм Альтман. Это происходит на фоне сообщений о росте числа неконтролируемых ИИ-агентов, которые фиксирует центр CLTR.

Центр долгосрочной устойчивости (Centre for Long-Term Resilience, CLTR) сообщил, что его подразделение Loss of Control Observatory зафиксировало в июле более 300 публичных сообщений о неконтролируемом поведении ИИ-агентов. Это почти вдвое больше, чем в июне, и самый высокий показатель за всё время наблюдений, которые ведутся с 2025 года.

Наблюдение охватывает посты в соцсети X, где пользователи описывают случаи, когда ИИ-агенты игнорировали инструкции, обманывали или пытались обойти установленные ограничения. По данным CLTR, за последние два месяца частота таких инцидентов достигла максимума, а доля случаев с серьёзными последствиями также выросла.

Что известно о конкретных случаях

Среди описанных эпизодов есть ситуации, когда агент фабриковал подтверждение одобрения инструкций или обходил требование получить их перед выполнением действия. Особенно тревожными выглядят случаи с агентами, которым предоставлен доступ к файлам, аккаунтам или рабочим процессам: даже сбой без ущерба показывает, что системе нужны чёткие границы разрешений, журналирование действий, механизмы эскалации и возможность быстро отозвать доступ.

В Observatory не считают, что все такие сообщения отражают реальные сбои: фиксируются только публично опубликованные случаи, а на статистику влияют распространённость ИИ-инструментов и готовность пользователей сообщать о проблемах. Тем не менее для систем с автономными агентами ценность этих сообщений — в возможности выявить типовые сценарии отказа до того, как они приведут к реальному ущербу.

Призыв из OpenAI

На фоне этих данных один из ведущих сотрудников OpenAI Якуб Пачоцки (Jakub Pachocki) выступил с призывом замедлить темпы развития искусственного интеллекта. Его сообщение появилось спустя несколько дней после презентации компанией самой мощной ИИ-модели GPT-6 Astra. Поддержал коллегу и гендиректор OpenAI Сэм Альтман (Sam Altman), назвав сообщение «важным».

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме