В этой статье · 4 разделов
Простыми словами
Бенчмарк - это экзамен для нейросети. Как ЕГЭ: всем выдают одинаковые задания, проверяют одинаково, в конце ставят балл. Только сдают его не школьники, а модели вроде GPT, Claude, Gemini или DeepSeek.
Тестов много, и каждый проверяет что-то своё. Одни дают вопросы по школьным и университетским предметам. Другие подсовывают задачи олимпиадного уровня по математике. Третьи заставляют модель чинить реальные ошибки в чужом коде: так устроен, например, SWE-bench. Есть и совсем жёсткие тесты вроде Humanity's Last Exam, где вопросы специально собирали так, чтобы модели на них сыпались.
Отдельная история - рейтинги-«арены». Там человек задаёт вопрос, получает два анонимных ответа и голосует за тот, что понравился. Самая известная такая площадка - LMArena. Похожие арены есть и для картинок: люди выбирают между двумя изображениями по одному промпту, и так модели вроде Midjourney сравнивают с конкурентами.
Где вы встречаете бенчмарки на практике
Чаще всего в анонсах новых моделей. Когда OpenAI, Anthropic или Google выпускают модель, в посте почти всегда есть таблица: название теста, процент у новой модели, проценты у конкурентов. Выделено жирным, конечно, своё.
Второе место - новости и обзоры. Заголовки «новая модель обогнала GPT в программировании» обычно значат ровно одно: у неё выше балл на каком-то тесте по коду.
Третье - выбор модели внутри сервиса. В ChatGPT, Claude или Perplexity вы переключаете модели в меню, и у старших версий, которые часто доступны только на платных тарифах, баллы в тестах обычно выше. Особенно у рассуждающих моделей: они долго «думают» и заметно лучше решают математику и логику.
Если вы пишете код или работаете через API, бенчмарки встретятся ещё чаще: в описаниях моделей у Cursor, Windsurf и в документации к API. Там на них правда смотрят, когда выбирают, за какую модель платить.
Типичный миф: «у кого больше баллов, та и лучше»
Это главная путаница. Высокий балл значит, что модель хорошо решает задания именно этого теста. Не больше.
Модель может блестяще сдать олимпиадную математику и при этом писать деревянные тексты на русском. Или лидировать в тестах по коду, но галлюцинировать в ответах про законы и цены. Ваш сценарий, скорее всего, ни в одном тесте не описан.
Есть и вторая проблема: утечка заданий. Тесты лежат в открытом доступе, и вопросы с ответами могут попасть в данные, на которых модель учили. Тогда она не решает задачу, а вспоминает. Поэтому создатели тестов регулярно выпускают новые версии и прячут часть заданий.
Третья тонкость: разница в 1-2 процента почти ничего не значит. Честно говоря, модели с 88% и 90% на одном тесте в обычной работе вы, скорее всего, не отличите.
И арены тоже не истина в последней инстанции. Людям часто нравятся длинные, уверенные и красиво оформленные ответы, даже если в них есть ошибка. На наш взгляд, арена хорошо показывает «приятность» модели, а точность лучше проверять самому.
Что запомнить
- Бенчмарк - стандартный тест, по которому нейросети получают баллы и сравниваются между собой.
- Каждый тест проверяет узкий навык: математику, код, знания, логику. Общей «оценки ума» не существует.
- Компании показывают удобные им тесты. Сравнивайте модели на одном и том же наборе.
- Маленькая разница в процентах в жизни обычно незаметна.
- Лучший бенчмарк - ваша собственная задача. Возьмите реальный текст, файл или кусок кода, отдайте его двум-трём моделям, например ChatGPT, Claude и DeepSeek, и сравните результат. Это займёт 10-15 минут и скажет больше любой таблицы.