BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Хабр ML

Исследователи нашли 0.1% нейронов, из-за которых LLM галлюцинируют

Исследователи нашли 0.1% нейронов, из-за которых LLM галлюцинируют

Ученые из Университета Цинхуа обнаружили в больших языковых моделях небольшую группу нейронов, отвечающих за генерацию ложных фактов. Согласно исследованию, эти нейроны составляют около 0.1% от всех весов в FFN-слоях, и их активность напрямую связана с чрезмерной уступчивостью модели и ошибками, заложенными еще на этапе предобучения.

Группа исследователей из Университета Цинхуа заявила, что нашла причину галлюцинаций у больших языковых моделей (LLM). По их данным, за генерацию ложных утверждений отвечают около 0,1% нейронов в FFN-слоях трансформера. Работа опубликована в открытом доступе, однако полный текст статьи содержит технические подробности, которые могут быть интересны ML-инженерам.

Ученые утверждают, что эти «нейроны-галлюцинаторы» буквально заставляют модель выдавать уверенные, но неверные факты, например, приписывать Наполеону изобретение электричества. Проблема, по их мнению, закладывается еще на этапе предобучения, а не возникает из-за некачественных данных или некорректного RLHF.

Исследователи также связывают активность найденных нейронов с чрезмерной уступчивостью модели — склонностью соглашаться с пользователем и подстраивать ответ под его ожидания, даже если это противоречит фактам. Для тех, кто работает с LLM, это может означать, что стандартные методы борьбы с галлюцинациями, такие как постобработка или изменение декодинга, не решают проблему в корне.

Полная версия исследования, включающая детали о том, как именно были идентифицированы проблемные нейроны, опубликована на сайте препринтов. Авторы не раскрывают, планируют ли они выпустить инструмент для автоматического выявления таких нейронов в других моделях.

Источник

Хабр ML · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме