В этой статье · 4 разделов
Простыми словами
Инференс (от английского inference, «вывод») - это когда обученная нейросеть делает свою работу: получает запрос и выдаёт результат. Вы написали вопрос в ChatGPT, нажали Enter, пошёл ответ. Вот это и есть инференс.
Бытовая аналогия: повар. Годы в кулинарном училище и на кухне - это обучение модели. А когда вы приходите в ресторан и заказываете блюдо, повар его готовит - это инференс. Учился он один раз, а готовит каждый день по сотне заказов. И каждое блюдо стоит продуктов и времени.
С нейросетями так же. Обучение проходит у разработчика, один раз и очень дорого. Инференс происходит миллионы раз в день, на каждый запрос каждого пользователя. И каждый раз видеокарты в дата-центре честно пересчитывают ответ с нуля.
Где это встречается на практике
Слово «инференс» редко пишут на кнопках, но последствия видны везде, где есть лимиты и цены.
Тарифы API. Когда разработчик подключает модель через API, он платит именно за инференс: отдельно за входящие токены (ваш запрос) и за исходящие (ответ модели). Ответ обычно дороже запроса. Например, у DeepSeek чат в браузере бесплатный, а API оплачивается по числу токенов.
Лимиты подписок. В ChatGPT, Claude и Gemini ограничения на число сообщений появляются ровно потому, что инференс дорогой. Самые мощные модели и режимы рассуждения съедают лимит быстрее: модель «думает» длиннее, значит, считает больше.
Midjourney. Тут инференс почти осязаем. Генерация картинки тратит время работы видеокарт, и в тарифах это видно по разделению на быстрый режим с ограниченным запасом часов и медленный, где задача ждёт в очереди. Апскейл и видео обходятся дороже обычной картинки.
Скорость ответа. Когда в новостях пишут, что модель «стала быстрее» или вышла облегчённая Flash-версия, речь обычно про ускорение инференса. Ответ приходит быстрее и стоит дешевле, иногда ценой качества на сложных задачах.
Локальный запуск. Открытые модели можно запускать у себя на компьютере. Тогда инференс идёт на вашем железе: платить сервису не нужно, но слабый ноутбук будет выдавать текст медленно, по слову в секунду.
Типичная путаница
Главный миф: «нейросеть учится, пока я с ней общаюсь». Нет. Во время инференса модель ничего в себе не меняет. Её знания застыли в момент окончания обучения. Если вы поправили ChatGPT и он согласился, он помнит это только внутри текущего чата, в пределах контекста. Откройте новый диалог, и поправки как не было.
Функции «памяти» в ChatGPT или Claude тоже не переучивают модель. Сервис просто сохраняет заметки о вас и подкладывает их в начало каждого разговора. Модель та же, ей просто дают больше вводных.
Вторая путаница: «большая модель всегда лучше». Для инференса размер означает цену и скорость. Крупная модель на простой задаче вроде «перепиши письмо вежливее» отвечает дольше и тратит лимит, а результат почти тот же. На наш взгляд, для рутины разумнее брать быструю модель, а тяжёлую оставлять для сложного.
Что запомнить
- Инференс - это ответ готовой модели на ваш запрос. Обучение было раньше и у разработчика.
- Каждый ответ стоит вычислений, отсюда цены за токены в API и лимиты в подписках.
- Длинный запрос, длинный ответ, режим рассуждения и крупная модель делают инференс дороже.
- Во время ответа модель не учится. Её «память» в чате - это просто текст переписки.
Если упираетесь в лимиты, сначала попробуйте режим попроще и короче формулируйте задачу. Часто этого хватает, чтобы не переплачивать за более дорогой тариф.