BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииTproger

Дэн Лу: больше тестов от ИИ-агентов не сделали код на Rust надёжнее

Программист Дэн Лу протестировал ИИ-агентов с инструкциями по написанию тестов для кода на Rust. Выяснилось, что увеличение числа тестов не гарантирует корректность, а «зелёные» результаты прохождения могут не отражать реальную надёжность кода.

Программист Дэн Лу провёл эксперимент с ИИ-агентами и выяснил: добавление инструкций по написанию дополнительных тестов не повышает надёжность сгенерированного кода на Rust. «Зелёные» тесты лишь фиксируют, что код работает на заданных примерах, но не гарантируют его корректность в других сценариях.

В ходе эксперимента Лу сравнил работу агентов с разными инструкциями по тестированию. Подробные требования к числу и видам тестов действительно приводили к росту их количества в выводе модели. Однако качество итогового кода — его способность проходить проверки на скрытых тестовых наборах и корректно обрабатывать граничные случаи — не улучшилось.

Основной вывод исследования: для оценки результата работы ИИ-агента важно смотреть на фактическое поведение кода, а не на формальные признаки — такие как количество написанных тестов или сообщение об их успешном прохождении. Корректность, по словам автора, определяется соответствием поведения программы реальным требованиям и сценариям использования.

Источник

Tproger · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме