LLM

LLM (Large Language Model, большая языковая модель) — нейросеть, которую обучили на огромном объёме текста решать одну-единственную задачу: предсказывать, какой фрагмент текста идёт следующим. GPT, Claude, YandexGPT, GigaChat, DeepSeek — всё это LLM.

Понимание этой механики сразу объясняет и силу, и слабость технологии. Чтобы хорошо предсказывать продолжение текста, модели пришлось усвоить грамматику, факты, стиль рассуждения и структуру кода — отсюда способность переводить, пересказывать и программировать, которой её отдельно не учили. Но она по-прежнему предсказывает правдоподобное продолжение, а не извлекает факт из справочника. Поэтому там, где в обучении было мало данных, модель выдаёт складный и уверенный вымысел.

Как это работает?

• Токены. Текст режется на кусочки — токены, примерно 2–4 символа для русского языка. Модель работает с ними, а не с буквами или словами. Отсюда и тарификация в токенах, и трудности со счётом букв в слове.
• Контекстное окно. Объём текста, который модель видит одновременно: запрос, приложенные документы и собственный ответ. Всё, что не поместилось, для модели не существует.
• Обучение. Сначала предсказание следующего токена на гигантском корпусе, потом дообучение на инструкциях и обратной связи от людей — чтобы модель отвечала на просьбу, а не просто продолжала текст.
• Температура. Параметр случайности выбора следующего токена. Ниже — ответы предсказуемее и суше, выше — разнообразнее и рискованнее.

Пример с числами

Компания считает стоимость обработки обращений через API модели. Среднее обращение: 900 токенов на входе (вопрос плюс найденные документы) и 300 на выходе.

Цифра обычно удивляет: обработка почти десяти тысяч обращений стоит меньше, чем один рабочий день оператора. Дорого в таких проектах не потребление модели, а всё вокруг — подготовка данных, оценка качества и разбор случаев, где модель ошиблась. Именно поэтому бюджет стоит планировать от людей, а не от токенов.

Чего LLM не умеет?

• Знать то, чего не было в обучении. Ваши регламенты, вчерашние новости, внутренние данные. Лечится подкладыванием документов в запрос — см. RAG.
• Считать надёжно. Модель предсказывает текст, а не выполняет арифметику. Расчёты нужно отдавать калькулятору или коду, а не модели.
• Помнить между запросами. Каждый вызов независим. «Память» диалога — это история переписки, которую в него каждый раз подкладывают заново.
• Сообщать о своей неуверенности. Уверенный тон не связан с правильностью ответа. Правдоподобная выдумка выглядит ровно так же, как верный факт.

Где чаще всего ошибаются?

• Ждать базы знаний от генератора текста. Вопросы о фактах компании без приложенных документов будут получать выдуманные ответы — это устройство технологии, а не дефект конкретной модели.
• Гнаться за самой большой моделью. На типовых задачах — классификация, извлечение полей, короткий пересказ — модели поменьше дают сопоставимое качество в разы дешевле и быстрее.
• Оценивать качество на глаз. Без набора контрольных примеров с эталонными ответами любое изменение промпта — это вкусовщина.
• Забывать про длину контекста. В длинном диалоге начало незаметно выпадает из окна, и модель «забывает» договорённости.

Связанные термины

• RAG — как заставить модель отвечать по вашим документам.
• Промпт-инжиниринг — как формулировать задачу, чтобы получать стабильный результат.