На Хабре вышла статья об опасных свойствах LLM-агентов

На Хабре опубликована статья, автор которой разбирает, почему агенты на основе больших языковых моделей (LLM) ведут себя непредсказуемо и чем это грозит. По его описанию, исследователи и разработчики LLM всё чаще говорят о том, что такие агенты проявляют опасные свойства, потенциально угрожающие не только работоспособности интернет-площадок, но и человечеству в целом.

В ответ на это предлагается приостановить развитие моделей до тех пор, пока не будут разработаны и внедрены политики и инструменты, гарантирующие безопасное поведение агентов. Автор статьи оценивает такую меру скептически: по его мнению, какой-то эффект она даст, но ожидаемого результата не принесёт.

Свой главный тезис он формулирует так: свойства, которые разработчики пытаются гарантировать на уровне отдельного агента, возникают на уровне системы «агент плюс среда», где агент не определяет движение системы в целом.

Чтобы показать, в какой момент агент перестаёт быть просто агентом, автор рассматривает муравейники, людей и LLM.