Нейросеть-детектор жизни обманули за 150 мутаций в эксперименте Avida

Исследователи из Университета штата Мичиган проверили, способна ли нейросеть опознать живое без информации о его биохимии, — одну из главных задач астробиологии. Эксперимент шёл на платформе цифровой жизни Avida, где «организмами» служат программы.

Классификатор обучили отличать такие программы от случайных последовательностей. На тестовой выборке он показал точность 99,97%: всего две ошибки на 7 236 примеров.

Дальше модель стали проверять на прочность. Простой алгоритм брал случайную цепочку из 9 символов и заменял буквы, оставляя только те варианты, которые повышали уверенность нейросети в том, что перед ней живой организм. Доступа к настоящим критериям жизни у алгоритма не было — он ориентировался только на оценки самой модели. К 150-му запросу все 1 560 запусков вышли на 100% уверенности, хотя генерировались комбинации, не способные к саморепликации.

Модель выучила схему, а не признак жизни

Цепочки-обманки не были случайным шумом. Они группировались вокруг нескольких типовых шаблонов, похожих на настоящие живые последовательности, но с нарушениями в ключевых позициях. Модель усвоила грубую «схему живого кода» и не заметила, что её можно имитировать, не воспроизводя главного — способности к размножению.

Проблема не сводится к одной архитектуре. В дополнительных экспериментах проверили CNN (свёрточная нейронная сеть), трансформеры, метод опорных векторов, случайный лес, XGBoost и логистическую регрессию — ни один метод не устоял, хотя случайный лес показывал несколько большую устойчивость. Жадный поиск, стохастический поиск и эволюционные алгоритмы тоже воспроизводили эффект. Это указывает, что уязвимость порождена не деталями реализации, а фундаментальным свойством методов, обучающихся на эмпирическом распределении данных.

Почему это важно для поиска жизни

Пространство признаков в экспериментах с Avida относительно невелико — 5,43 триллиона возможных последовательностей, — но доля истинных репликаторов в нём составляет всего 6,66 миллиардных. Любой образец за пределами распределения обучающих данных несёт риск высокоуверенного ложного сигнала о жизни. Внеземные образцы почти наверняка окажутся именно «за пределами распределения» всего, на чём тренировались земные детекторы.

Авторы подчёркивают ограничение работы: использовались молекулярные последовательности, а не реальные масс-спектры, поэтому прямой перенос результатов на py-GC-MS требует отдельной проверки. Тем не менее применение ИИ-детекторов жизни в космических миссиях способно подорвать доверие к астробиологическим программам в целом — задолго до того, как сообщество научится отличать сенсацию от артефакта.