Локальная ИИ-модель на ноутбуке: как запустить и выбрать по RAM

Локальная ИИ-модель работает прямо на вашем ноутбуке. После скачивания ей не нужен интернет, а переписка и файлы остаются на устройстве. Это вери-вери гуд, если вы разбираете внутренние документы или не хотите тащить рабочий текст в облачный чат.

Но магии не будет. Компактная локальная модель обычно не заменит сильный облачный ИИ в сложном анализе, программировании или задачах со свежими данными. Зато она может сократить письмо, собрать конспект встречи, разобрать инструкцию и привести в порядок черновик. Факты всё равно проверяйте: модель умеет уверенно придумывать даты, правила и выводы.

Если приватность не важна, проще открыть несколько ИИ в браузере и сравнить ответы. Локальный запуск нужен для другой ситуации: у вас есть документы с персональными или внутренними данными, либо нужен помощник без сети.

Сначала смотрите на память, а не на хайп

Программа для запуска и сама модель — разные вещи. LM Studio, Ollama и GPT4All — это оболочки. А качество текста зависит от выбранной модели, её размера, квантизации и вашего запроса. Выбирать оболочку как «самый умный ИИ» — примерно как выбирать браузер по цвету вкладок.

Для первого запуска важны шесть вещей: объём RAM, свободное место на диске, скорость ответа, работа с русским текстом, поддержка файлов и возможность проверить, откуда взялся ответ. Русский интерфейс может сделать старт приятнее, но умнее модель от него не становится.

Начните с LM Studio, если не хотите терминал

Для первого знакомства берите LM Studio: там виден понятный маршрут — найти модель, скачать файл, загрузить его в память и открыть чат. Это не «лучшая» оболочка по качеству ответов: качество определяет модель. Просто такой путь удобно освоить без команд и настройки локального сервера.

После загрузки модель может работать офлайн. В LM Studio можно добавлять документы: короткий файл попадёт в запрос целиком, а для длинного программа найдёт подходящие фрагменты и передаст их модели. Не считайте ответ по файлу доказательством: откройте исходник и сверьте важную цитату.

1. Проверьте объём RAM: в Windows — в «Диспетчере задач», на Mac — в разделе «Об этом Mac».
2. Установите LM Studio и откройте Discover.
3. Найдите instruct-модель нужного размера.
4. Если есть сборка `Q4_K_M`, начните с неё.
5. Откройте Chat, загрузите модель и дайте ей одну реальную задачу.

Квантизация уменьшает размер модели и расход памяти. `Q4_K_M` часто встречается в каталогах и годится как стартовая точка, но не гарантирует одинаковое качество и скорость на каждом ноутбуке. Не надо покупать курс «Локальный ИИ за вечер», чтобы узнать эту фичу: скачайте небольшую модель и проверьте её на своём тексте.

Скачивайте с запасом, а не впритык

Вес скачанного файла — не весь расход памяти. RAM нужна операционной системе, истории переписки, контексту и служебным данным модели. Поэтому вариант, который едва помещается, часто начинает тормозить или заставляет ноутбук активно использовать диск вместо памяти.

Таблица ниже — не гарантия запуска, а безопасная первая попытка. На результат влияют процессор, видеокарта, длина чата и настройки приложения.

На ноутбуке с 8 ГБ RAM не запускайте огромную модель «на всякий случай». Это как тащить холодильник на самокате: движение, возможно, будет, но радости мало. Берите модель меньше и держите короткий контекст.

Если всё зависает, сначала уменьшите модель на ступень. Затем сократите историю чата и закройте тяжёлые программы. Эти действия полезнее, чем поиски секретной галочки в ролике на 47 минут.

Проверьте помощника на своей работе

Сравнивайте модели на одном ноутбуке, с одинаковой квантизацией и на одинаковых заданиях. Иначе вы сравните разные условия, а не модели. Нет свежего независимого теста, который честно назовёт одну модель лучшей для всех русскоязычных задач и любого железа.

Первый тест — сжатие письма с датами, именами и условиями. Хороший для вас результат — модель сохранила детали и не добавила обещанную скидку из воздуха.

СкопироватьСократи письмо до 700 знаков с пробелами.

Сохрани все даты, имена и условия.
Не добавляй новых фактов.
Разбей ответ на 3 коротких абзаца.
В конце перечисли данные, которых нет в исходном тексте и которые ты не можешь проверить.

Исходное письмо:
[вставьте текст]

Второй тест — вопрос по обезличенной инструкции или регламенту. Здесь важнее не гладкий текст, а способность сказать «в документе не найдено».

СкопироватьОтветь только по приложенному документу.

Найди:
1. Кто согласует отпуск.
2. За сколько дней подают заявление.
3. Что будет при нарушении срока.

Для каждого пункта процитируй фрагмент документа.
Если ответа нет, напиши: в документе не найдено.

После ответа откройте оригинал и проверьте цитаты. Модель может найти нужный абзац, но неверно понять исключение в сноске или фразу «если иное не установлено».

Ollama и GPT4All нужны для других сценариев

Ollama берите, когда чат уже маловат и хочется подключить модель к редактору кода, боту или скрипту. Он запускает модель как локальный сервис; актуальные команды, теги и сведения о размещении модели удобно сверять в документации Ollama.

Команда запуска выглядит так:

Скопироватьollama run [имя-модели]

После запуска выполните команду ниже. Она покажет, где размещена модель: на GPU, в обычной памяти или в смешанном режиме. Если ответы слишком долгие, сначала поставьте вариант легче или уменьшите контекст.

Скопироватьollama ps

GPT4All имеет смысл затестить для локальной базы знаний по файлам. Его режим LocalDocs помогает увидеть документы, использованные при ответе. Это удобно для быстрой проверки, но не превращает ответ в истину: сверяйте вывод с исходным фрагментом.

Локальная модель полезна не потому, что она модная или бесплатная, а когда экономит вам конкретное действие. Сегодня скачайте вариант под вашу RAM, прогоните письмо и один документ, затем запишите три вещи: время первого ответа, скорость генерации и число ошибок. По этим данным уже понятно, оставлять связку или менять размер модели.