ARC Prize Foundation заявила о 100% решении ARC-AGI-3, но называет это не победой

ARC Prize Foundation, основанная Франсуа Шолле, сообщила о том, что несколько ИИ-проектов достигли показателя в 100% в бенчмарке ARC-AGI-3. Этот тест создавался для оценки общего интеллекта и способности ИИ-агентов к обучению. Задачи в нём построены в виде интерактивных игр, которые, по замыслу авторов, может решить только система, умеющая исследовать незнакомую среду, быстро понимать правила, планировать действия и адаптироваться к новым условиям.

Несмотря на формальный успех, в фонде подчёркивают, что это не является победой в гонке за AGI. По словам представителей фонда, стопроцентный результат в бенчмарке не означает, что модель действительно обучилась — она могла просто запомнить паттерны решений. Проверить это можно с помощью вариаций задач, которые не были включены в обучающую выборку: как показали внутренние тесты, на новых модификациях уровень успеха заметно падает.

По мнению Шолле, ARC-AGI-3 остаётся полезным инструментом для инженеров, но не финальной метрикой интеллекта. Он подчёркивает, что настоящий прорыв будет заметен, когда модель сможет решать незнакомые задачи без подсказок и переобучения, а не просто проходить заранее известный экзамен. Поэтому результаты в 100% следует воспринимать как прогресс в узких сценариях, но не как доказательство появления общего искусственного интеллекта.