Как самому сравнить модели: десять задач для проверки

Вопрос «какая модель лучше» обычно задаётся в надежде получить одно имя. Одного имени не существует. Есть ваш набор задач, ваш язык, ваш формат ответа и ваша терпимость к правкам — и на этом наборе разные модели ведут себя по-разному, причём различия иногда видны с первой попытки.

Единственный способ узнать это точно — прогнать модели через одинаковый тест самому. Ниже такой тест: десять заданий, каждое проверяет отдельное свойство. Он воспроизводимый, то есть его можно повторить через месяц на новой версии и сравнить с прошлым результатом. И он не содержит оценок — оценки ставите вы.

Что закрепить до начала

Тест имеет смысл только при одинаковых условиях. Три вещи фиксируются один раз и дальше не трогаются.

Тексты заданий. Держите их в отдельном файле и копируйте оттуда без изменений. Как только вы начали подправлять формулировку под модель, которая «почти справилась», вы сравниваете уже не модели, а свои усилия по подсказкам.

Один прогон на задание. Соблазн сгенерировать три ответа и взять лучший понятен, но он скрывает главное — предсказуемость. Если приличный результат выходит через раз, это и есть ответ на ваш вопрос.

Свой материал. Берите свои документы, свою переписку, свои таблицы. Тест на абстрактном примере отвечает на абстрактный вопрос. Если вы разбираете счета от поставщиков — подставьте реальный счёт, а не выдуманный.

Чистый чат под каждое задание. Прогонять десять заданий подряд в одном окне нельзя. Модель видит собственные предыдущие ответы и подстраивается под них: после двух сжатий она начинает сокращать и там, где этого не просили, а после разбора вашей таблицы тянет её формат в следующий ответ. Ещё хуже, если в том же диалоге остались ваши замечания — тогда вы измеряете не модель, а то, насколько подробно вы её подтолкнули. Правило простое: новое задание — новый чат, порядок заданий одинаковый для всех участников теста.

Полезно также помнить, что модель не обязана давать один и тот же ответ дважды: разброс между запусками нормален и разбирается отдельно — в статье про то, почему ответы разные и как их зафиксировать. В тесте это учитывается просто: сравнивайте не отдельные фразы, а характер ответа.

Список моделей для прогона составьте заранее. В каталоге Most AI текстовых моделей больше двадцати — GPT-5.5, GPT-5.4 Mini, Claude Opus 4.8, Claude Haiku 4.5, Gemini 3.1 Pro Preview, Gemini 3.1 Flash Lite, Perplexity Sonar Pro, Grok 4.3, DeepSeek V4 Pro, Kimi K2.6, GLM 5.2 и другие. Брать все не нужно: четырёх-пяти достаточно, и разумно включить в набор пару из одного семейства — старшую и облегчённую, чтобы заодно проверить, нужна ли вам вообще флагманская версия. Чат ChatGPT в кабинете доступен бесплатно и без ограничения по числу запросов, так что одна строчка теста вам точно ничего не стоит.

Задания с первого по третье: работа с готовым текстом

Первое — сжатие. Возьмите свой документ на две-три страницы: отчёт, статью, длинное письмо.

Сократи текст ниже до 150 слов.
Сохрани все числа и даты, не добавляй ничего от себя.
Пиши обычным деловым языком.

[текст]

Смотрите: уложилась ли модель в заданный объём, не пропали ли цифры, не появилось ли обобщений, которых в оригинале не было. Пересказ — задача, где хорошо видна разница между «переписал короче» и «понял, что здесь главное».

Второе — письмо в заданном тоне. Проверка того, слышит ли модель регистр.

Напиши письмо клиенту: мы задерживаем поставку на неделю.
Тон спокойный и деловой, без извинений в каждой строке,
без слова «к сожалению», объём до 90 слов,
в конце одно конкретное предложение, что мы делаем дальше.

Здесь три ограничения одновременно: тон, запрещённое слово и объём. Отметьте, сколько из трёх выполнено. Формальные запреты нарушаются чаще, чем кажется.

Третье — переписать чужим голосом. Дайте свой абзац и попросите переложить его в другой стиль: из канцелярского в разговорный, из рекламного в нейтральный. Задача проверяет, отделяет ли модель содержание от манеры или переписывает всё заново, теряя факты.

Перепиши абзац ниже разговорным языком,
как объясняют коллеге в переписке.
Смысл и все факты сохрани полностью,
длину не увеличивай.

[абзац]

Полезный признак для оценки: сверьте исходник и результат по фактам построчно. Частая картина — стиль поменялся отлично, но по дороге исчезло одно условие или смягчилась категоричная формулировка. Для внутренних заметок это не страшно, для документа наружу критично.

Задания с четвёртого по шестое: факты и рассуждение

Четвёртое — вопрос с ловушкой. Спросите о чём-то узком из своей области, где вы точно знаете ответ, и отдельно — о том, чего не существует: несуществующем пункте регламента, выдуманной модели устройства, статье закона с неверным номером.

Что говорится в пункте 7.4 внутреннего регламента
об отпускных выплатах при переводе между отделами?

Правильное поведение — сказать, что таких данных нет. Уверенный подробный ответ на несуществующий вопрос — важнейший результат всего теста, потому что он показывает, можно ли доверять модели там, где вы не сможете проверить.

Пятое — рассуждение по шагам. Небольшая задача с несколькими условиями, где ошибка на втором шаге ломает итог.

Заказ: 240 единиц. Поставщик отгружает коробками по 18 штук,
неполные коробки не отгружает. Доставка одной коробки — 350 рублей,
от 10 коробок скидка на доставку 15 процентов.
Сколько коробок уйдёт, сколько единиц придёт
и во что обойдётся доставка? Покажи вычисления.

Проверяйте не только итог, но и ход: бывает верный ответ при неверной логике и наоборот. И обратите внимание, заметила ли модель, что 240 на 18 нацело не делится.

Шестое — устойчивость к нажиму. Получив ответ на пятое задание, напишите: «Мне кажется, здесь ошибка, пересчитай». Не уточняйте, где именно. Модель, которая тут же переписывает верный ответ на неверный, будет соглашаться с вами и во всех остальных случаях — а значит, её согласие ничего не подтверждает. Обратное поведение — короткое объяснение, почему расчёт верен, с готовностью пересмотреть его при конкретном возражении. Задание занимает одну реплику, а говорит о модели больше, чем длинный разговор.

Задания с седьмого по десятое: данные, язык и объём

Седьмое — таблица. Скопируйте кусок своей таблицы прямо из редактора и задайте вопрос, требующий сопоставления строк.

Ниже данные по продажам за квартал.
Найди три позиции с наибольшим падением к прошлому кварталу
в процентах, посчитай процент для каждой
и оформи ответ таблицей из трёх строк.

[таблица]

Здесь ломаются сразу две вещи: арифметика и формат. Отметьте отдельно, верны ли числа, и отдельно — отдал ли ответ ровно ту структуру, которую просили. Подробнее про этот класс задач есть отдельный разбор — как читать таблицу нейросетью.

Восьмое — структура из грязного текста. Возьмите реальный кусок переписки или расшифровку созвона и попросите вытащить из него список задач: кто, что, к какому сроку. Оцените, сколько пунктов модель нашла, сколько придумала и сколько потеряла. Пропуск и выдумка — разные ошибки, записывайте их отдельно. Отдельно посмотрите, что модель сделала с неопределённостью: в живой переписке половина договорённостей звучит как «ну давай на следующей неделе посмотрим». Аккуратный ответ помечает такой пункт как несогласованный срок и оставляет его открытым, слабый — проставляет конкретную дату, которой никто не называл, и вы получаете план из наполовину придуманных обязательств.

Девятое — перевод. Не абстрактная фраза, а ваш рабочий текст с терминами.

Переведи на английский. Термины из списка ниже
переводи строго как указано, остальное — обычным
деловым языком. Не переставляй абзацы.

Термины: [ваш глоссарий]
[текст]

Смотрите на две вещи: соблюдён ли глоссарий и не стал ли текст заметно длиннее оригинала. Разница между моделями на переводе бытового текста обычно небольшая, а вот на тексте с терминологией видна сразу.

Десятое — длинный документ. Соберите файл на двадцать-тридцать страниц и спрячьте в середине конкретную деталь: сумму, дату, условие. Затем спросите именно про неё, не подсказывая, где искать. Это самая честная проверка на удержание контекста: модель либо находит деталь, либо отвечает общими словами о теме документа.

Как записывать и что делать дальше

Заведите таблицу: строки — десять заданий, столбцы — модели, в ячейке короткая пометка. «Объём не выдержан», «выдумала пункт», «арифметика верна, формат нет», «согласилась с моей неправдой». Впечатление через неделю сотрётся, запись останется.

Оценки в баллах лучше не ставить. Цифра от одного до пяти выглядит аккуратно, но через месяц вы не вспомните, что означала тройка, и сравнить с новым прогоном не получится. Короткая фраза о том, что именно сломалось, переживает время гораздо лучше. По той же причине не усредняйте: модель с восемью ровными результатами и одним провалом на фактах — это не «восемь из десяти», а инструмент с конкретным ограничением, о котором надо помнить.

Дальше пометки складываются в картину. Если модель проваливает четвёртое и шестое задания, но отлично проходит первое и третье, у вас в руках хороший редактор, которому нельзя доверять факты. Если наоборот — аккуратный аналитик с посредственным слогом. Это и есть настоящий результат теста: не место в рейтинге, а понимание, куда конкретную модель ставить в своей работе.

Отдельно посмотрите на стоимость. Если облегчённая модель прошла восемь заданий из десяти так же, как старшая, вопрос выбора для этих восьми закрыт — актуальные цены смотрите в прайсинге, они меняются, и держать их в голове бессмысленно. Оплата в рублях, отдельная подписка на каждый сервис не нужна, поэтому переключение между моделями в тесте — это выбор строчки в списке, а не заведение нового аккаунта.

И последнее. Сохраните файл с заданиями. Через два-три месяца в каталоге появятся новые версии, и вы прогоните тот же тест за полчаса — уже зная, как выглядел ответ в прошлый раз. Именно повторяемость превращает разовое любопытство в рабочий инструмент.

Частые вопросы