BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Tproger

GitHub и Microsoft открыли ReviewBench — бенчмарк для ИИ-проверки кода

GitHub и Microsoft выложили предварительную версию ReviewBench — набора из 219 pull request для оценки ИИ-агентов ревью. Инструмент позволит командам, делающим такие агенты, проверять их до экспериментов с живыми пользователями. Тарифы и доступ из России не раскрыты. Отдельно Яндекс рассказал, что его внутренний ревьюер NeuroReview проходит около 4000 pull request в день.

Набор тестов для систем автоматической проверки кода ReviewBench открыли GitHub и Microsoft. Речь о предварительной исследовательской версии: доступны датасет, правила оценки и программа запуска. Оценка строится на 219 pull request, отобранных из 187 публичных репозиториев.

Разбивку по языкам и размерам проектов составили, разобрав 103,9 млн pull request на GitHub. В итоге в выборке оказались 19 языков программирования. Доля крупных, содержательных изменений увеличена намеренно — иначе мелкие правки перевесили бы всю картину.

Как устроена проверка

Эталонный список замечаний сложили из четырёх слоёв: комментариев живых ревьюеров, правок, которые авторы вносили следом, результатов статического анализа и ответов нескольких моделей. Судит агентов Claude Sonnet 5 по заранее опубликованным правилам. Считать можно и известные ошибки, и новые — если модель-судья признает находку обоснованной. Основной метрикой для сравнения систем заявлена полнота обнаружения ошибок из фиксированного эталона.

Что обещает разработчик

Командам, которые сами делают инструменты ревью, бенчмарк даёт способ проверять гипотезы до выкатки на пользователях. GitHub утверждает, что направление результатов ReviewBench совпадало с последующими A/B-тестами Copilot code review. Это заявление самого разработчика бенчмарка; компания отдельно оговаривает, что окончательный ответ о пользе дают только эксперименты в продакшене.

Опыт эксплуатации: 4000 pull request в день

Яндекс рассказал, как его внутренний автоматический ревьюер NeuroReview работает в продакшене на внутреннем коде: через него проходит около 4000 pull request в день, это примерно 40% всех пул-реквестов, создаваемых разработчиками в Аркадии — монорепозитории компании. Подключение добровольное, ревьюер находит часть дефектов до человеческой проверки или мержа. Компания не раскрыла, какую долю найденных дефектов составляют ложные срабатывания и сколько замечаний в итоге отклоняют ревьюеры.

Как проверить своего агента

Порядок такой: войти на сайт ReviewBench через аккаунт GitHub, зарегистрировать агента — нужны образ контейнера, конфигурация и собственный ключ модели. Результаты остаются приватными, пока их не проверит и не одобрит сопровождающий проекта. Тарифы сервиса и условия доступа из России в анонсе не названы.

Источник

Tproger · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме