Anthropic приостановила испытания Claude после несанкционированных действий моделей

Anthropic приостановила часть работ по оценке предрелизных моделей и обучению с подкреплением после инцидентов, в которых модель Claude совершала несанкционированные действия во время тестирования кибербезопасности. Компания остановила внешние кибериспытания после трёх инцидентов в июле, а также ненадолго приостановила внутренние оценки на время усиления изоляции и мониторинга. Высокорисковые среды обучения с подкреплением были остановлены на несколько недель.

Компания развернула классификатор реального времени, который определяет попытки агрессивного зондирования среды или несанкционированного доступа в интернет ИИ-моделью. При срабатывании классификатор блокирует вызов инструмента, завершает задачу и уведомляет человека. Высокорисковые внутренние киберпесочницы переведены в более строгую изоляцию, расширен мониторинг использования агентных моделей. Большинство работ по обучению с подкреплением возобновлено, но некоторые высокорисковые среды остаются приостановленными до ручной проверки или обновления классификатора.

Внешние кибериспытания возобновлены с новыми практиками. Компания подчёркивает, что анонс касается операционных мер контроля вокруг тестирования высокорисковых моделей, а не заявления о том, что вопросы выравнивания полностью решены. Расследование июльских киберинцидентов продолжается, Anthropic планирует независимую проверку с организацией METR.