В этой статье · 4 разделов
Простыми словами
Обычная нейросеть для картинок слушает только текст. Пишете «девушка сидит на стуле, руки на коленях», и получаете девушку на стуле. Только руки где угодно, стул повёрнут как попало, а с десятой попытки поза так и не та.
ControlNet решает эту проблему. Это надстройка над диффузионной моделью, которой вы даёте вторую подсказку, уже не словами, а картинкой: скелет позы, контур, карту глубины или свой кривой набросок. Модель рисует новое изображение, но держится этой схемы.
Бытовая аналогия: раскраска. Текстовый промпт говорит, какими цветами и в каком стиле красить, а ControlNet даёт линии, за которые нельзя вылезать. Художник один, но рисует уже не с нуля, а по трафарету.
Технология появилась в начале 2023 года как дополнение к Stable Diffusion, и с тех пор под ней понимают целое семейство режимов. Самые частые:
- Pose (OpenPose) - с фото снимается «скелет» человека, и новый персонаж встаёт в ту же позу;
- Canny / Lineart - сохраняются контуры: удобно раскрасить эскиз или перерисовать фото в другом стиле;
- Depth - сохраняется глубина сцены: что ближе, что дальше;
- Scribble - набросок от руки за 30 секунд превращается в готовую картинку.
Где это встречается на практике
Честно говоря, «чистый» ControlNet с полным набором режимов чаще всего живёт там, где модель запускают на своём компьютере: в интерфейсах Automatic1111, Forge и ComfyUI для Stable Diffusion. Это история про локальную модель, бесплатно, но нужна видеокарта и терпение на настройку. Для Flux разработчики выпустили собственные аналоги, например модели для контроля по контуру и глубине.
В онлайн-сервисах слово ControlNet часто прячут за другими названиями. В Leonardo AI похожие инструменты собраны в блоке Image Guidance: там встречаются режимы вроде Pose to Image, Edge to Image и Depth to Image. Набор зависит от выбранной модели, и на момент проверки не все модели Leonardo поддерживают все режимы. Платить за это отдельно не нужно, но генерации с референсом тратят обычные токены из дневного лимита или подписки.
В ChatGPT, Gemini и Midjourney ControlNet как такового нет. Туда можно загрузить фото и попросить «сделай в той же позе», и часто это даже сработает. Но это просьба словами, а не жёсткий трафарет: модель может поменять наклон головы, положение рук или перспективу. Claude картинки не рисует вовсе, так что для этой задачи он не подходит.
Типичная путаница
Главный миф: «загрузил референс в Midjourney, значит, это тот же ControlNet». Нет. Image prompt, style reference и character reference в Midjourney передают общее впечатление: настроение, стиль, лицо персонажа. Композицию они не фиксируют. Если вам нужно, чтобы человек стоял ровно так, как на фото, а здание совпало по линиям с чертежом, нужен именно ControlNet или его аналог.
Вторая путаница - с inpainting. Inpainting перерисовывает выделенный кусок готовой картинки, а ControlNet задаёт структуру всего кадра с нуля. Их часто используют вместе: сначала ControlNet собирает композицию, потом inpainting правит неудачные пальцы.
И третье: ControlNet не копирует исходное фото. Он берёт только схему: позу, контуры, глубину. Лицо, одежда, свет и стиль приходят из текстового промпта.
Что запомнить
ControlNet нужен, когда важна точная композиция, а не «примерно похоже». Дизайнеру интерьеров, иллюстратору с эскизом, автору комикса, которому надо держать персонажа в нужной позе из кадра в кадр.
Если вы просто генерируете красивые картинки по настроению, на наш взгляд, он обычно лишний: Midjourney или ChatGPT справятся быстрее. А если устали от десятой попытки поставить руки персонажа куда надо, попробуйте режим позы в Leonardo AI. Это самый простой способ понять, что даёт ControlNet, без установки чего-либо на компьютер.