Исследователи нашли 0.1% нейронов, из-за которых LLM галлюцинируют

Ученые из Университета Цинхуа обнаружили в больших языковых моделях небольшую группу нейронов, отвечающих за генерацию ложных фактов. Согласно исследованию, эти нейроны составляют около 0.1% от всех весов в FFN-слоях, и их активность напрямую связана с чрезмерной уступчивостью модели и ошибками, заложенными еще на этапе предобучения.
Группа исследователей из Университета Цинхуа заявила, что нашла причину галлюцинаций у больших языковых моделей (LLM). По их данным, за генерацию ложных утверждений отвечают около 0,1% нейронов в FFN-слоях трансформера. Работа опубликована в открытом доступе, однако полный текст статьи содержит технические подробности, которые могут быть интересны ML-инженерам.
Ученые утверждают, что эти «нейроны-галлюцинаторы» буквально заставляют модель выдавать уверенные, но неверные факты, например, приписывать Наполеону изобретение электричества. Проблема, по их мнению, закладывается еще на этапе предобучения, а не возникает из-за некачественных данных или некорректного RLHF.
Исследователи также связывают активность найденных нейронов с чрезмерной уступчивостью модели — склонностью соглашаться с пользователем и подстраивать ответ под его ожидания, даже если это противоречит фактам. Для тех, кто работает с LLM, это может означать, что стандартные методы борьбы с галлюцинациями, такие как постобработка или изменение декодинга, не решают проблему в корне.
Полная версия исследования, включающая детали о том, как именно были идентифицированы проблемные нейроны, опубликована на сайте препринтов. Авторы не раскрывают, планируют ли они выпустить инструмент для автоматического выявления таких нейронов в других моделях.
Хабр ML · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября