ИИ-агенты не смогли повторить 11 из 13 статей Nature из-за неявных допущений

Группа исследователей проверила, может ли ИИ-агент самостоятельно повторить научный результат, имея на руках текст статьи. Работа называется «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy». В выборку вошли 14 астрономических исследований: одно из The Astrophysical Journal и 13 статей, опубликованных в Nature.

В 11 из 13 работ Nature авторы нашли методологические или интерпретационные неоднозначности. Из-за них невозможно однозначно восстановить последовательность действий, нужную для повторения анализа, — по крайней мере в рамках проведённых экспериментов. То есть модель может вытащить из текста нужные данные и даже провести вычисления, но этого недостаточно для независимой проверки результата.

Разброс в контрольном расчёте

Отдельно авторы разобрали контрольный случай. Они заранее задали 12 вариантов расчёта, которые различались способом отбора объектов, маскированием участков неба и учётом поправки к нулевой точке параллакса. Параллакс — это метод оценки расстояния до небесного тела по видимому смещению его положения на фоне более далёких объектов.

В зависимости от настроек оценка пространственного масштаба получалась от 2,16 до 3,53 килопарсека. В исходной публикации стоит значение около 2,70 килопарсека. Совпал только один вариант. Исследователи подчёркивают: исходный результат не использовался ни для подбора параметров, ни для остановки расчётов — совпавший способ выявился лишь после того, как были выполнены все 12 анализов.

Поправка была в тексте, но не в логике модели

Причина расхождения показательна сама по себе. В статье прямо указана поправка к параллаксу на +0,02 миллисекунды дуги. ИИ-агенты не увидели, как эта поправка связана с итоговым результатом, пока анализ не показал её влияние. Проблема, по мнению авторов, не в отсутствии информации и не только в умении найти нужный параметр, а в понимании, почему его нужно применить именно к этим данным и именно в этом исследовании.

Авторы выделяют три разные причины неудачи: вычислительную ошибку, недостаточно определённую методику и неспособность связать отдельные сведения из статьи в единую логику анализа. Отсюда два следствия. Совпадение с опубликованным числом ещё не значит, что ИИ восстановил ход рассуждений авторов, — нужный результат может выйти случайно или через один из нескольких допустимых вариантов обработки. И наоборот: несовпадение не доказывает, что исходная работа ошибочна.

Что предлагают измерять

Исследователи предлагают оценивать научные ИИ-системы по всему процессу воспроизведения: от выбора данных и настроек до проверки итогов. Совпало ли конечное число с публикацией — недостаточный критерий. Такой подход позволяет находить решения, которые в статье остаются неявными, потому что специалисты принимают их на основе опыта и профессиональных соглашений.

При этом даже аудит вычислений не заменяет предметных знаний. Чтобы понять, какие допущения обоснованны, а какие меняют смысл результата, системе нужно восстановить связь между методикой и самой научной задачей.