Anthropic сообщила о пяти случаях использования Claude в биологических исследованиях с потенциальным риском

Anthropic заявила, что выявила пять случаев использования своей модели искусственного интеллекта Claude в биологических исследованиях, результаты которых потенциально могли быть применены для создания биологического оружия. Инциденты зафиксированы с декабря 2025 года по август 2026 года. Злонамеренные намерения исследователей компания установить не смогла, однако заблокировала их активность из-за потенциальных рисков.

Основная проблема связана с двойным назначением биологических исследований. Одни и те же знания могут использоваться для разработки лекарств и изучения заболеваний или, наоборот, для создания более опасных патогенов. Поэтому по отдельному запросу часто невозможно определить, с какой именно целью пользователь проводит исследование.

В одном из случаев исследователи работали с вирусом чикунгунья, который переносится комарами. Защитная система Claude заблокировала запрос, связанный с подготовкой заявки на финансирование исследования по усилению функций вируса. Вопросы у Anthropic вызвало то, что связанные с запросом работы предназначались для военного исследовательского учреждения.

После отказа Claude исследователи продолжили работу через другие каналы. Anthropic также обнаружила посредническую платформу, перенаправлявшую отклонённые биологические запросы к ИИ-моделям с менее строгими механизмами безопасности.

Другой случай касался высокопатогенного птичьего гриппа. По данным Anthropic, исследователь несколько недель использовал Claude для планирования экспериментов, анализа данных и научной интерпретации результатов. Защитные механизмы не позволили применять наиболее мощные модели компании для чувствительных задач, поэтому исследование продолжилось с менее мощными версиями ИИ.

Ещё три случая были связаны с ортопоксвирусами, соединениями, имеющими отношение к ядам, и токсинами. Anthropic не раскрывает личности и местонахождение исследователей, а также конкретные технические детали их работы.

Тема возникла не сейчас: ещё на ранних этапах развития генеративного ИИ его разработчики задумались о безопасности, предположив, что часть пользователей попробует применить такие системы для создания новых видов оружия, включая биологическое.

В компании считают, что по мере развития ИИ проблема будет становиться серьёзнее. Предыдущие поколения Claude имели более ограниченные возможности в сложных биологических исследованиях, новые модели способны значительно эффективнее помогать с научным анализом. Это делает их полезнее для исследователей, но одновременно повышает потенциальный ущерб от злоупотреблений.

Anthropic заблокировала связанные с выявленной активностью учётные записи, передала информацию властям и другим разработчикам ИИ и усилила ограничения для биологических запросов высокого риска.

В том же отчёте компания рассказала о злоупотреблении Claude в кибероперациях. Anthropic связала одну из обнаруженных кампаний с группировкой Midnight Blizzard, которую относят к связанным с российскими хакерами. По данным компании, ИИ применялся для автоматизации фишинга, подготовки инфраструктуры, разработки вредоносного ПО и кражи данных. В кампании фигурировали более 20 организаций, включая государственные, дипломатические и оборонные структуры Украины и европейских стран.

Отчёт Anthropic показывает, что для защиты ИИ от опасного использования недостаточно просто блокировать отдельные запросы. Пользователь может замаскировать конечную цель под обычную научную работу, разделить задачу на несколько частей или перенести её между разными моделями и сервисами.