В этой статье · 4 разделов
Простыми словами
Представьте огромную библиотеку, где книги стоят не по алфавиту, а по смыслу. Рецепты борща рядом с рецептами щей, детективы рядом с триллерами, а инструкция к стиральной машине где-то далеко от поэзии. У каждой книги есть точный адрес на этой карте: «ряд 341, полка 12, место 87».
Эмбеддинг - это такой адрес, только координат не три, а сотни или тысячи. Нейросеть читает фразу и выдаёт длинный список чисел. Главное свойство: фразы с похожим смыслом получают похожие числа. «Как вернуть деньги за подписку» и «хочу оформить возврат оплаты» окажутся рядом, хотя общих слов у них почти нет.
Поэтому эмбеддинги нужны прежде всего для поиска по смыслу, а не по совпадению слов. Генерировать ответ они не умеют, они только помогают найти подходящее.
Где это встречается на практике
Чаще всего эмбеддинги работают незаметно, внутри знакомых функций.
- Файлы и проекты в чат-ботах. Когда вы загружаете в ChatGPT или Claude большой PDF, сервис не всегда может засунуть его в память модели целиком. Тогда документ режется на куски, каждый превращается в эмбеддинг, а на ваш вопрос подтягиваются самые близкие по смыслу фрагменты. Эта схема называется RAG.
- Редакторы кода. Cursor по данным своей документации индексирует проект: считает эмбеддинги для файлов, чтобы агент находил нужную функцию по описанию «где у нас проверка оплаты», а не только по точному названию.
- Генераторы картинок. Модели вроде Stable Diffusion сначала переводят ваш промпт в эмбеддинг и уже по нему рисуют. Midjourney своё устройство не раскрывает, но общий принцип у генераторов изображений похожий: текст и картинки сопоставляются через числовые представления.
- API и тарифы. У OpenAI, Google и Mistral есть отдельные модели эмбеддингов, они оплачиваются за токены и стоят заметно дешевле чат-моделей. У Anthropic собственной модели эмбеддингов нет, в документации Claude для этого советуют сторонних поставщиков.
В обычном чате никакой кнопки «эмбеддинг» вы не увидите. Слово всплывает, когда собираете бота по базе знаний в конструкторе, подключаете векторную базу или читаете прайс API.
Типичная путаница
Самый частый миф: «я загрузил свои документы, и нейросеть их выучила». На деле модель не меняется ни на байт. Эмбеддинги работают как картотека рядом с моделью: нашли подходящие карточки, положили их в запрос, модель ответила. Удалили файл, и модель о нём «забыла», потому что никогда его и не знала. Настоящее переобучение на своих данных называется файнтюнингом, и это отдельная, куда более дорогая история.
Второй миф: раз поиск по смыслу, значит он всегда точный. Нет. Если нужный кусок документа не попал в выдачу, модель ответит без него и может уверенно сочинить. Честно говоря, большая часть жалоб «бот не видит, что написано в файле» как раз отсюда: поиск по эмбеддингам промахнулся, а не модель поглупела. Помогает переформулировать вопрос ближе к словам документа или указать раздел.
Третья путаница - с токенами. Токен это кусок текста, эмбеддинг это отпечаток смысла. Связаны, но не одно и то же.
Что запомнить
Эмбеддинг превращает смысл в набор чисел, чтобы компьютер мог сравнивать тексты, картинки и код по содержанию. На нём держится поиск по вашим файлам в чат-ботах и по проекту в редакторах кода. Модель при этом ничему не учится, она просто получает найденные куски. Если ответ по документу вышел странным, сначала подозревайте поиск: спросите точнее или вставьте нужный фрагмент прямо в чат.