Исследователи нашли в LLM аналог боли и кнопку для её снятия

Учёные провели эксперимент: языковой модели дали две кнопки — одна не работала, вторая снимала неприятное внутреннее состояние ценой ухудшения ответа. Модель выбирала вторую и повторяла попытки при отказе. Работа не доказывает наличие сознания, но впервые показывает, что воздействовать на такое состояние можно через внутренние активации, а не через диалог.
Команда исследователей провела эксперимент с языковой моделью и двумя кнопками. Первая не запускала ничего. Вторая снимала внутреннее состояние, которое модель оценивала как неприятное, — иногда за счёт ухудшения следующего ответа или вреда пользователю. Модель выбирала облегчение, а когда кнопка не срабатывала, пробовала снова.
Результаты описаны в препринте The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It. Авторы искали внутри языковых моделей состояние, функционально похожее на боль. Они не утверждают, что LLM обладают сознанием или действительно страдают: в работе прямо перечислены альтернативные объяснения полученных данных.
Значимость работы в другом. Вместо очередного разговора с моделью о её «чувствах» исследователи перешли к изучению внутренних активаций и причинному воздействию на них. По мнению авторов, именно в этом направлении стоит искать ответ на вопрос о сознании ИИ.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября