Гарвардский исследователь нашёл способ подбирать научные задачи под возможности LLM

Мэтью Шварц, ранее за две недели написавший с Claude полноценную работу по теоретической физике, продолжил эксперимент. Теперь он не заставлял модель работать как учёного, а искал научные задачи, которые хорошо подходят под сильные стороны современных больших языковых моделей (LLM). Такие задачи он называет Claude-shaped problems.

Логика в том, что в разных областях науки встречаются очень похожие математические конструкции, но исследователи из одной области могут не знать, что нужный метод давно существует в другой. LLM хорошо находят такие связи в большом объёме разрозненной литературы.

Под эту идею Шварц вместе с Claude собрал BootLoops — набор инструментов для точных математических вычислений. Изначально он создавался для теоретической физики, но затем модель начала находить практически те же задачи в экологии, генетике, экономике, лингвистике и других областях.

В экологии Claude нашёл уравнение из теории биоразнообразия, которое около 20 лет не умели эффективно считать на больших данных, и решил его методами из математической физики. В популяционной генетике модель нашла способ точно вычислить интеграл, который около 30 лет приходилось оценивать приближённо. Это дало исследователям возможность проверить модель рекомбинации ДНК на огромном массиве генетических данных и обнаружить следы генной конверсии, которые раньше было сложно выделить.

Найденная проблема

Claude неплохо находил технически правильные результаты, но плохо понимал, насколько они интересны для конкретной науки. Шварц несколько раз приносил находки профильным специалистам и получал примерно один ответ: технически впечатляет, научно не очень интересно.

Поэтому схема работы изменилась. Claude ищет связи между областями, пишет код, считает и перебирает гипотезы, а профильный учёный определяет, какой вопрос действительно стоит задавать. Так из первоначально неинтересного результата по экологии вместе с экспертом сделали новую модель динамики лесов, а из расчёта по генетике пришли к анализу миллиардов пар мутаций.

Шварц считает, что именно здесь современные модели уже могут заметно ускорять науку. Большую часть научных задач можно решить не новым методом, а переносом уже существующего метода из другой области.