GitHub и Microsoft открыли ReviewBench — бенчмарк для ИИ-проверки кода

Набор тестов для систем автоматической проверки кода ReviewBench открыли GitHub и Microsoft. Речь о предварительной исследовательской версии: доступны датасет, правила оценки и программа запуска. Оценка строится на 219 pull request, отобранных из 187 публичных репозиториев.

Разбивку по языкам и размерам проектов составили, разобрав 103,9 млн pull request на GitHub. В итоге в выборке оказались 19 языков программирования. Доля крупных, содержательных изменений увеличена намеренно — иначе мелкие правки перевесили бы всю картину.

Как устроена проверка

Эталонный список замечаний сложили из четырёх слоёв: комментариев живых ревьюеров, правок, которые авторы вносили следом, результатов статического анализа и ответов нескольких моделей. Судит агентов Claude Sonnet 5 по заранее опубликованным правилам. Считать можно и известные ошибки, и новые — если модель-судья признает находку обоснованной. Основной метрикой для сравнения систем заявлена полнота обнаружения ошибок из фиксированного эталона.

Что обещает разработчик

Командам, которые сами делают инструменты ревью, бенчмарк даёт способ проверять гипотезы до выкатки на пользователях. GitHub утверждает, что направление результатов ReviewBench совпадало с последующими A/B-тестами Copilot code review. Это заявление самого разработчика бенчмарка; компания отдельно оговаривает, что окончательный ответ о пользе дают только эксперименты в продакшене.

Как проверить своего агента

Порядок такой: войти на сайт ReviewBench через аккаунт GitHub, зарегистрировать агента — нужны образ контейнера, конфигурация и собственный ключ модели. Результаты остаются приватными, пока их не проверит и не одобрит сопровождающий проекта. Тарифы сервиса и условия доступа из России в анонсе не названы.