BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Хабр ИИ

Anthropic заявила об устойчивости Opus 5 к промпт-инъекциям

Anthropic заявила об устойчивости Opus 5 к промпт-инъекциям

Создатель Claude Code Борис Черный сообщил, что команда Anthropic больше не может провести успешную промпт-инъекцию против Claude Opus 5, а сторонняя лаборатория не воспроизвела ни одной атаки из 72 сценариев. Anthropic называет модель самой защищённой из своих, но независимой проверки именно на AI-агентах в заявлении нет.

Создатель Claude Code Борис Черный рассказал, что команда Anthropic больше не может продемонстрировать успешную атаку типа prompt injection (PI, промпт-инъекция) на новую модель Claude Opus 5. Пост появился в конце июля среди публикаций о релизе модели. Об этом он написал, комментируя устойчивость Opus 5 к сторонним инструкциям, внедрённым в обрабатываемые моделью данные.

Сам Anthropic формулирует осторожнее. В материалах компании сказано: «Opus 5 is our least prompt injectable model yet» и «across PI evals and red teaming, Opus 5 is very hard to prompt inject successfully» — то есть модель названа наименее подверженной промпт-инъекциям из всех выпущенных, а успешная атака в рамках внутренних оценок и ред-тиминга названа очень трудной. На YC Startup School прозвучали уже более сильные утверждения: «The model does not seem to be prompt injectable anymore» и «we just cannot demonstrate prompt injection anymore».

Что показала сторонняя проверка

Anthropic также опубликовала исследование сторонней лаборатории, которая прогнала модели Fable, Opus и Sonnet через собственный бенчмарк. Проверка включала 72 сценария, каждый прогонялся по 10 раз. Ни одна из атак не сработала.

Из этих результатов не следует, что проблема промпт-инъекций закрыта. Устойчивость моделей к PI проверялась на сценариях бенчмарка, а поведение AI-агентов, которые самостоятельно выполняют цепочки действий и обращаются к внешним инструментам, в заявлении не раскрыто. Дата публикации исследования сторонней лаборатории и её название в сообщении не указаны.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме