Два ИИ-ревьюера нашли шесть P1 и 25 P2 в коде skillmem за 40 раундов

Разработчики проекта skillmem пропустили код через двойное ревью моделей Claude и GPT: модели проверяли друг друга в общей сложности 40 раундов, каждая находка подтверждалась воспроизведением. Нашли шесть ошибок уровня P1 и около 25 уровня P2 в коде, который до этого прошёл два независимых ревью. Часть исправлений приводила к регрессиям, которые выявлялись только на следующем раунде.
Код проекта skillmem прошёл два независимых ревью и считался чистым. Затем его враждебно проверяли две модели с разных сторон — Claude и GPT — в течение 40 раундов подряд. Условием было воспроизведение каждой находки командой.
Итог: шесть ошибок уровня P1 и около 25 уровня P2 в коде, который «уже был отревьюен». Ключевое наблюдение — каждый второй фикс порождал регрессию, которую выявлял только следующий раунд проверки.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября