В этой статье · 4 разделов
Простыми словами
Внутри любой нейросети миллиарды чисел, так называемых весов. Обычно каждое хранится очень точно, с кучей знаков после запятой. Квантование - это когда эти числа округляют и хранят грубее.
Бытовая аналогия: фото с телефона весит 8 МБ, а после сжатия в JPEG пожиже - 1 МБ. На экране смартфона разницу почти не видно. Если сжать совсем сильно, пойдут квадратики и мыло. С моделью то же самое: умеренное сжатие почти незаметно, жёсткое уже бьёт по качеству.
Зачем это нужно? Модель на 8 миллиардов параметров в полной точности занимает около 16 ГБ. В 4-битной версии примерно 4-5 ГБ. Первая не влезет в обычный ноутбук, вторая спокойно запустится даже без мощной видеокарты.
Где это встречается на практике
Чаще всего с квантованием сталкиваются те, кто запускает локальную модель на своём компьютере через Ollama или LM Studio. Там одну и ту же модель, например Qwen или Llama, предлагают в десятке вариантов с непонятными хвостами в названии:
- Q8 - 8 бит, почти без потерь, но файл большой;
- Q5, Q6 - золотая середина для тех, у кого есть запас памяти;
- Q4_K_M - самый популярный вариант, его часто дают по умолчанию;
- Q2, Q3 - для совсем слабого железа, качество заметно хуже;
- FP16, BF16 - исходная точность, без сжатия.
Буквы GGUF, AWQ, GPTQ в названиях файлов - это разные форматы и способы сжатия. Обычному пользователю достаточно знать: GGUF подходит для Ollama и LM Studio.
Второе место - API и агрегаторы моделей. Одна и та же открытая модель у разных провайдеров может работать в разной точности, и некоторые площадки пишут это прямо в карточке: fp8, fp4 и так далее. Отсюда эффект «у одного провайдера модель умнее, чем у другого», хотя название одно.
Третье - генерация картинок. Локальные версии моделей вроде Flux тоже выкладывают в сжатом виде, чтобы они влезали в видеокарты на 8-12 ГБ.
А вот в ChatGPT, Claude или Midjourney вы такой настройки не найдёте. Там модель крутится на серверах компании, и как именно её оптимизировали, вам не скажут. Тарифы отличаются лимитами и набором моделей, а не битностью.
Типичная путаница и мифы
«Квантованная модель - это урезанная, ненастоящая версия». Нет. Знания и навыки те же, просто хранятся грубее. 8-битная версия в обычных задачах почти неотличима от оригинала. Некоторые модели вообще изначально обучают в пониженной точности: DeepSeek, например, рассказывал, что обучал V3 в формате FP8.
«Если модель стала тупить, её точно сжали». Такие обвинения регулярно звучат в адрес ChatGPT и Claude. Иногда за ними стоят реальные изменения, но чаще причина в другом: новая версия модели, другой системный промпт, длинный чат, который упёрся в контекст. Подтверждений тайного квантования крупные компании не давали, так что, на наш взгляд, выводы тут лучше не делать.
«Чем меньше бит, тем лучше: быстрее же». Быстрее и легче, да. Но на Q2 модель начинает путать факты, терять нить в длинном ответе и чаще галлюцинировать. Честно говоря, большая модель в Q4 обычно лучше маленькой в Q8 при том же объёме файла, а вот жать ниже 4 бит стоит только от безысходности.
Квантование путают с дистилляцией. Дистиллированная модель - это отдельная маленькая модель, которую обучили подражать большой. Квантованная - та же самая модель, только сжатая.
Что запомнить
Квантование - это сжатие весов модели ради экономии памяти и скорости. Вам оно важно, только если вы запускаете открытые модели сами или выбираете провайдера API. Ориентир простой: Q8 почти без потерь, Q4_K_M как разумный стандарт, ниже Q4 уже с заметными потерями. Если модель в облачном чате кажется глупее, чем раньше, квантование здесь не главный подозреваемый.