В этой статье · 4 разделов
Простыми словами
Представьте, что вы показываете фотографию другу по телефону и спрашиваете: «Что это за растение?» Он смотрит, узнаёт форму листьев и отвечает. Компьютерное зрение делает то же самое, только вместо друга программа.
Для компьютера картинка изначально - просто сетка из цветных точек. Он не знает, что вот это кот, а вот это диван. Компьютерное зрение учит его находить в этих точках смысл: где лицо, где текст, где дорожный знак, что вообще происходит на снимке.
Раньше для каждой такой задачи делали отдельную узкую систему: одна умела только узнавать номера машин, другая только лица. Сейчас большие нейросети вроде ChatGPT или Claude понимают картинки «в целом» и могут о них разговаривать. Такие модели называют мультимодальными: они работают и с текстом, и с изображениями.
Где это встречается на практике
Чаще всего вы пользуетесь компьютерным зрением, даже не замечая этого. Разблокировка телефона по лицу, поиск по фото в Google Lens или Яндексе, автоматическая сортировка галереи по людям и местам - всё это оно.
В чат-ботах это выглядит как кнопка со скрепкой или значок загрузки файла. Несколько типичных сценариев:
- Скриншот ошибки. Кидаете в ChatGPT картинку с непонятным окном на экране и спрашиваете, что делать. Модель прочитает текст ошибки и подскажет.
- Фото документа или таблицы. Claude неплохо вытаскивает данные из сфотографированной таблицы или графика и пересобирает их в текст.
- Разбор интерфейса. Показываете скриншот сайта и просите описать, что неудобно, или переписать кнопки.
- Задачка из учебника. Фотографируете условие, и Gemini его распознаёт и объясняет решение.
- Картинка в промпт. В Midjourney есть команда /describe: загружаете изображение, и сервис предлагает текстовые описания, по которым можно сгенерировать похожее.
По тарифам: загрузка картинок обычно есть и в бесплатных версиях, но с лимитом на количество в день. Точные цифры сервисы меняют часто и не всегда публикуют, так что, на наш взгляд, проще ориентироваться на сообщение «лимит исчерпан», чем искать таблицу.
Типичная путаница и мифы
Миф первый: «нейросеть видит как человек». Нет. Модель хорошо понимает общий смысл картинки, но может споткнуться на том, что человеку очевидно. Посчитать людей на групповом фото, точно прочитать мелкий шрифт на размытом снимке, определить, какая из двух стрелок длиннее - тут ошибки случаются регулярно. И модель не скажет «не вижу», а уверенно ответит что-то правдоподобное. Это те же галлюцинации, только про изображения.
Миф второй: «компьютерное зрение и генерация картинок - одно и то же». Midjourney рисует новое изображение по описанию, а компьютерное зрение разбирает уже готовое. Связь есть: генераторы учатся на парах «картинка + описание», и без понимания изображений они бы не работали. Но если вам нужно распознать текст с фото, Midjourney не поможет, идите в чат-бота.
Миф третий: «раз модель узнаёт лица, она знает, кто на фото». ChatGPT и Claude по правилам не определяют личность человека по лицу. Описать внешность, эмоцию или одежду они могут, а назвать имя незнакомого человека откажутся. Это ограничение политики сервиса, а не техники.
Что запомнить
Компьютерное зрение - это когда программа понимает, что изображено на картинке или видео. В современных чат-ботах оно спрятано за кнопкой загрузки файла и работает на скриншотах, фото документов, графиках и схемах.
Результат часто удобный, но не идеальный. Суммы, даты, фамилии и всё, что вы потом куда-то перепечатаете, сверяйте глазами. А если модель тупит на снимке, честно говоря, проще переснять его ровнее и крупнее, чем спорить с ней в чате: качество картинки влияет на ответ сильнее, чем формулировка вопроса.