«Давайте обучим ИИ на наших документах» — с такой фразы часто начинаются лишние траты. Регламент меняется, а бот продолжает отвечать по старой версии. Или команду не устраивает JSON, хотя проблема не в скобках, а в том, что модель неверно понимает обращения клиентов.
Обычно путают три инструмента. Промпт объясняет модели, как работать. База знаний, или RAG, даёт ей актуальные документы в момент ответа. Дообучение, или fine-tuning, закрепляет повторяющееся поведение на примерах. Это не конкуренты: каждый решает свою проблему.
Сначала назовите проблему
| Что нужно получить | С чего начать | Почему |
|---|---|---|
| Единый тон, роль и порядок действий | Промпт | Инструкцию легко изменить и проверить |
| Ответы по правилам, тарифам и документам | RAG | Базу можно обновить без нового обучения |
| Массовую классификацию с устойчивым результатом | Fine-tuning | Модель учится на размеченных примерах |
Для типичной рабочей задачи порядок такой: сначала промпт, затем тесты, потом база знаний — если нужны свежие факты. Дообучение стоит проверять последним. Иначе легко лечить не ту причину ошибки.
Промпт задаёт правила, а не хранит знания
Промпт — это инструкция перед задачей. В нём задают роль, ограничения, порядок шагов и формат результата. Он полезен, когда нужно объяснить модели, как действовать.
Редактор отправляет помощнику черновик статьи. Тот должен убрать канцелярит, не менять факты, отметить спорные утверждения и предложить один заголовок без кликбейта. Здесь не нужен датасет: правила можно описать в инструкции и поправить за несколько минут.
Ты — редактор русскоязычного блога.
Проверь текст по шагам:
1. Убери канцелярит и сложные обороты.
2. Не меняй факты, цифры и имена.
3. Отметь утверждения без подтверждения.
4. Предложи один конкретный заголовок без кликбейта.
Верни:
— отредактированный текст;
— список спорных утверждений;
— один заголовок.
Текст:
{{черновик}}Промпт — лучший первый шаг для новой задачи. Он показывает, где именно бот сбоит: в тоне, логике, ограничениях или знаниях. Проверяйте инструкцию не на одном удачном запросе, а на обычных, сложных и неполных рабочих кейсах.
RAG приносит в ответ свежие документы
RAG работает иначе. Система ищет подходящие фрагменты во внутренней базе, передаёт их модели вместе с вопросом, а модель формулирует ответ. Это подходит для информации, которая может измениться.
Сотрудник спрашивает HR-бота, как согласовать командировку на следующей неделе. Бот находит действующий регламент, форму заявки и порядок согласования. Если порядок меняется, HR заменяет документ в базе — модель переучивать не нужно.
RAG нужен для инструкций, договоров, тарифов, каталога услуг и внутренних правил. Но он не исправляет беспорядок в папках. Если в базе лежат две версии регламента без дат, система может найти обе и смешать старое правило с новым.
Перед запуском базы знаний проверьте пять вещей:
- у каждого документа есть владелец;
- указана дата актуальности;
- старые версии убраны в архив;
- доступ к файлам разделён по ролям;
- бот умеет честно сказать, что ответа в базе нет.
Источник рядом с ответом тоже не появляется сам. Его можно показать, если система сохраняет, из какого документа и раздела взят фрагмент. Для правил об оплате, отпусках или доступах это важно: сотрудник сможет открыть первоисточник и проверить ответ.
Дообучение закрепляет повторяемое решение
Fine-tuning имеет смысл, когда однотипных задач много, а у команды есть примеры правильного результата. Дообучение учит модель связке «такой вход — такой ожидаемый выход». Это не способ загрузить в неё постоянно меняющуюся корпоративную вики.
Представьте поддержку интернет-магазина. Каждый день приходят обращения об оплате, доставке, возврате, технических ошибках и спаме. На выходе нужен объект с категорией, срочностью и краткой причиной. Команда обезличивает реальные обращения, размечает верные ответы и отдельно описывает спорные случаи.
После этого стоит протестировать обычную модель с хорошей инструкцией и примерами. Если она на одинаковом наборе обращений продолжает путать похожие категории, fine-tuning становится кандидатом для проверки.
Не обещайте себе экономию заранее. Дообучение может сократить длину инструкции, но выигрыш в цене, скорости и качестве нужно измерять на одинаковых кейсах. Сравнение «до» и «после» на разных вопросах ничего не докажет.
Идеальный JSON не означает верную логику
Если бот пропускает поле или ломает скобки, сначала используйте схему ответа у вашего провайдера. Такой механизм помогает соблюдать структуру: нужные поля, типы данных и допустимые значения.
Но схема не проверяет смысл. Клиент пишет: «Деньги списали, а заказ не появился». Бот может вернуть безупречный JSON и ошибочно отнести случай к доставке вместо оплаты. Тогда нужно улучшать инструкцию, добавлять примеры пограничных обращений и проверять бизнес-логику. Дообучение рассматривайте, если эти шаги не дали стабильного результата.
Выберите подход за пять вопросов
- Ответ зависит от документов, которые обновляются? Выбирайте RAG.
- Нужны тон, роль или порядок действий? Начинайте с промпта.
- Одна и та же задача повторяется большим потоком? Соберите размеченные примеры и тестируйте fine-tuning.
- Нужны и свежие сведения, и строгий формат? Комбинируйте: RAG отвечает за знания, промпт или дообучение — за поведение.
- Нет набора проверочных кейсов? Не начинайте дообучение: вы не поймёте, стало ли лучше.
Проверяйте бота на неудобных вопросах
Не ограничивайтесь тремя вопросами от команды. Возьмите реальные обезличенные обращения и добавьте редкие, конфликтные и неполные случаи. Для каждого ответа проверьте: найден ли нужный факт, не придумано ли лишнее, соблюдён ли формат, умеет ли бот отказаться при нехватке данных и можно ли объяснить ответ правилом или источником.
Сравнивайте варианты на одной версии модели, одном наборе запросов и по одинаковым критериям. Иначе промпт получит лёгкие вопросы, а RAG — сложные, и вывод окажется случайным. Если вы только собираете набор проверочных кейсов, руководство Anthropic по разработке тестов для ИИ-сценариев поможет превратить рабочие требования в конкретные тесты.
Сегодня выберите один сценарий бота и выпишите десять реальных запросов, на которых он ошибался или отвечал неуверенно. Этот список быстро покажет, чего не хватает: ясной инструкции, свежих документов или примеров правильных решений.
Статья помогла?
