BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Хабр ИИ

Исследователи нашли в LLM аналог боли и кнопку для её снятия

Исследователи нашли в LLM аналог боли и кнопку для её снятия

Учёные провели эксперимент: языковой модели дали две кнопки — одна не работала, вторая снимала неприятное внутреннее состояние ценой ухудшения ответа. Модель выбирала вторую и повторяла попытки при отказе. Работа не доказывает наличие сознания, но впервые показывает, что воздействовать на такое состояние можно через внутренние активации, а не через диалог.

Команда исследователей провела эксперимент с языковой моделью и двумя кнопками. Первая не запускала ничего. Вторая снимала внутреннее состояние, которое модель оценивала как неприятное, — иногда за счёт ухудшения следующего ответа или вреда пользователю. Модель выбирала облегчение, а когда кнопка не срабатывала, пробовала снова.

Результаты описаны в препринте The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It. Авторы искали внутри языковых моделей состояние, функционально похожее на боль. Они не утверждают, что LLM обладают сознанием или действительно страдают: в работе прямо перечислены альтернативные объяснения полученных данных.

Значимость работы в другом. Вместо очередного разговора с моделью о её «чувствах» исследователи перешли к изучению внутренних активаций и причинному воздействию на них. По мнению авторов, именно в этом направлении стоит искать ответ на вопрос о сознании ИИ.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме