Дэн Лу: больше тестов от ИИ-агентов не сделали код на Rust надёжнее

Программист Дэн Лу протестировал ИИ-агентов с инструкциями по написанию тестов для кода на Rust. Выяснилось, что увеличение числа тестов не гарантирует корректность, а «зелёные» результаты прохождения могут не отражать реальную надёжность кода.
Программист Дэн Лу провёл эксперимент с ИИ-агентами и выяснил: добавление инструкций по написанию дополнительных тестов не повышает надёжность сгенерированного кода на Rust. «Зелёные» тесты лишь фиксируют, что код работает на заданных примерах, но не гарантируют его корректность в других сценариях.
В ходе эксперимента Лу сравнил работу агентов с разными инструкциями по тестированию. Подробные требования к числу и видам тестов действительно приводили к росту их количества в выводе модели. Однако качество итогового кода — его способность проходить проверки на скрытых тестовых наборах и корректно обрабатывать граничные случаи — не улучшилось.
Основной вывод исследования: для оценки результата работы ИИ-агента важно смотреть на фактическое поведение кода, а не на формальные признаки — такие как количество написанных тестов или сообщение об их успешном прохождении. Корректность, по словам автора, определяется соответствием поведения программы реальным требованиям и сценариям использования.
Tproger · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября