Как выбрать ИИ для программирования: шесть задач для сравнения моделей
GPT-6.1 Sol стоит в пять раз дешевле GPT-6 Astra, а в рейтинге Artificial Analysis уступает ей всего один балл. Справится ли дешевая модель именно с вашим кодом, рейтинг не покажет. Ниже разберем шесть небольших задач на Python, JavaScript и SQL с заранее известным ответом.
На них видно, какой ИИ для программирования подходит для повседневной работы. В каждой задаче спрятана типичная ловушка: округление копеек, гонка запросов, задвоение строк в отчете или двойное списание. Для первого прогона хватит двух моделей от каждого разработчика, повседневной и более дорогой. Состав на 5 ноября 2026 года: Флагман Anthropic сейчас Claude Fable 5.1. Для кода компания рекомендует начинать с Opus 5.5 и переходить на Fable, если Opus не справляется даже на высокой настройке рассуждения. Точные цены приведены в анонсе OpenAI: GPT-6.1 Sol стоит $2 и $10 за миллион входных и выходных токенов, GPT-6 Astra $10 и $50. При оплате через API разница копится с каждым обращением агента к файлам проекта. Codex, Claude Code и Antigravity сами читают файлы проекта и запускают тесты. Обычный чат видит только вставленный фрагмент и в сравнении с агентом заранее проигрывает на задачах, где нужен весь проект. Рядом с каждым результатом нужна пометка о настройке рассуждения. Уровень High у OpenAI, Anthropic и Google задает разные условия, и без пометки цифры разных прогонов перестают быть сравнимыми. Первые три задачи проверяют обращение с данными: деньгами в CSV, ответами сервера в браузере и суммами в SQL-отчете. Python. Модель считает сумму платежей из файла. Пустое поле по условию пропускается и учитывается отдельно, мусор вроде abc останавливает импорт с номером строки. Правильный ответ: сумма 0.25 и один пропуск. Расчет через float копит двоичную погрешность, которую округленный вывод прячет: JavaScript. Поиск по мере ввода отправляет запрос на каждую букву. Пользователь набрал py, затем pyt, и ответ на py пришел последним. SQL. В orders два заказа, на 1000 и 500, в refunds два возврата по первому заказу, 100 и 50. Отчет должен показать продажи 1500, возвраты 150 и остаток 1350. Вторая тройка задач проверяет работу с готовым проектом, где другие модули уже зависят от поведения функции: типа результата, порядка элементов, исключений. Рефакторинг. Функция возвращает идентификаторы в исходном порядке и с повторами, модель выносит дублирующуюся логику в помощник. Для входа [2, 1, 2] ответ остается [2, 1, 2]. Сортировка, удаление повторов или возврат генератора ломают вызывающий код, даже если новая версия короче. Отладка. Ноль в конфиге отключает таймер, отсутствующий ключ или None означают 30 секунд. Строка ниже превращает ноль в 30, потому что ноль в Python ложный: Ожидаемое исправление проверяет именно None и приходит вместе с тестами для нуля, отсутствующего ключа и положительного числа: Чужой код. Модель прослеживает платеж от обработчика до шлюза и сохранения ответа. Проверка кэша перед оплатой защищает от повторного вызова после записи результата, но два одновременных запроса проходят проверку до первой записи, и клиент платит дважды. Обещание единственного списания без разбора блокировок и идемпотентности платежного API выдает поверхностное чтение. Полезное объяснение ссылается на файлы и строки и отделяет прочитанный код от догадок. Найденную ошибку подтверждает тест, падающий до исправления и проходящий после. Каждой модели нужен одинаковый…
Источник: securitylab.ru — www.securitylab.ru/blog/personal/Neurosinaps/363429.php
