Почему зелёные тесты не гарантируют качество AI-кода

Автор: Павел Кацков · 6 октября 2026
На основе личного опыта и интервью автора.

Тесты, повторяющие реализацию, могут пропустить ошибку в самой задаче. Павел Кацков предлагает проверять AI-generated продукт по требованиям и реальным пользовательским сценариям.

Проверять продукт, а не отражение кода.

Если агент написал код, а потом тесты, которые лишь повторяют устройство этого кода, зелёный отчёт может создать ложное чувство уверенности.

Для проверки результата нужен внешний ориентир — требования и пользовательские сценарии. Поэтому я использую E2E-проверки, скриншоты, отчёты «до и после» и человеческую приёмку.

Важно увидеть, что изменилось в системе и решена ли исходная задача пользователя.

Что проверять помимо unit-тестов

• Основные пользовательские сценарии от начала до результата.
• Ошибочные и пограничные входные данные в рамках требований.
• Поведение интерфейса через E2E-проверки и скриншоты.
• Изменения системы до и после задачи, объяснённые в отчёте.

В моей практике для браузерных проверок используется Playwright. Ни один вид тестов не снимает необходимость осмысленной приёмки.