Большие языковые модели вроде тех, что работают в ChatGPT и Gemini, можно запускать локально — на Windows, macOS и Linux. Такой вариант даёт доступ без интернета, повышает конфиденциальность и избавляет от ежемесячной платы и лимитов сервисов. Бесплатно скачать можно модели Meta и Google, однако они обычно уступают платным решениям в скорости и возможностях. Для работы понадобится достаточно оперативной памяти, а на Windows особенно пригодится видеокарта Nvidia. Настроить локального бота для общения можно, например, через бесплатное приложение LM Studio Bionic.
Зачем запускать модель локально
Если вы пользуетесь ChatGPT, Claude, Perplexity или похожими платформами, вы уже взаимодействуете с большой языковой моделью. Такие модели применяют для программирования, написания и сокращения текстов, а также поиска информации в интернете. При этом их можно загрузить на свой компьютер и использовать без облачного сервиса.
Главные преимущества — работа без подключения к интернету и конфиденциальность: отправлять запросы в облако для анализа больше не нужно. Кроме того, не придётся платить компаниям, предоставляющим ИИ-сервисы, ежемесячную подписку или сталкиваться с ограничениями по числу запросов.
Скачать бесплатно можно множество моделей, в том числе от Meta и Google. Они обычно работают медленнее и обладают меньшими возможностями, чем модели внутри платных приложений, но подходят для повседневных задач. При необходимости можно устанавливать и выбирать разные модели.
У локального запуска есть и обратная сторона: обновления и обслуживание придётся выполнять самостоятельно, а часть удобства готового приложения ChatGPT исчезнет. Зато вы получаете более персонализированную и закрытую систему, которую несложно настроить.
Какой компьютер нужен
Локальные модели работают на Windows, macOS и Linux. Среди любителей ИИ чаще выбирают macOS: компьютеры Apple более единообразны по устройству, а чипы Apple Silicon объединяют процессор, графику и оперативную память — такая архитектура подходит для запуска моделей.
На любой платформе важен объём оперативной памяти. Минимум — 8 ГБ, но в этом случае выбор моделей и скорость работы будут ограничены. Более подходящий вариант — 16 ГБ, а для самых крупных и быстрых моделей потребуется 32 ГБ или больше.
Для лучшего результата пригодится отдельная видеокарта с большим объёмом видеопамяти. Любой объём свыше 8 ГБ уже заметно помогает, поскольку такая память оптимизирована для задач, которые выполняют ИИ-модели.
В Windows отдельная видеокарта Nvidia особенно полезна. Графические процессоры лучше подходят для ИИ-вычислений, чем обычные центральные процессоры, а собственная память видеокарты даёт модели дополнительное пространство для работы.
Минимальных характеристик для локальной языковой модели нет. Но большой объём оперативной памяти и отдельная видеокарта упрощают запуск. Помимо самого файла модели понадобится приложение, которое будет служить внешним интерфейсом. Программ для этого и самих моделей существует много, поэтому их можно подбирать под свои задачи.
Программы и модели
Тем, кто только начинает, обычно рекомендуют LM Studio Bionic — бесплатное приложение для Windows и macOS. Среди других распространённых вариантов — vLLM, Llama.cpp, Ollama и GPT4All. Они тоже работают на нескольких операционных системах, но требуют больше технических знаний.
После выбора приложения нужно подобрать языковую модель. Программы сами предложат несколько вариантов, а найти дополнительные можно в сетевых хранилищах. Самое известное из них — Hugging Face, где доступно более 3 миллионов моделей.
Источник: wired.com
Настройка LM Studio Bionic
Вариантов локальной конфигурации много, но для примера подойдёт запуск LM Studio Bionic в Windows. Сначала скачайте установочный файл с сайта и запустите приложение. После этого нажмите «Создать проект» и задайте название первого проекта.
Откроется пустое окно диалога. Нажмите «Выбрать модель» в поле запроса, а затем «Получить локальные модели» — приложение перенаправит вас в основной каталог моделей. Для каждой модели указаны размер, популярность и краткое описание. Новичкам можно ориентироваться на подборку «Выбор редакции».
Небольшие модели обладают меньшими возможностями, зато быстрее скачиваются и занимают меньше места на компьютере.
Источник: wired.com
После установки модели интерфейс работает примерно как обычное приложение с ИИ-чатом. В нижнем поле запроса можно выбирать между установленными моделями. Если текущая модель поддерживает работу с изображениями и файлами, слева от поля будет значок «+» для их добавления.
Источник: wired.com
Слева находится панель навигации, через которую можно переключаться между проектами. В нижней части панели расположена ссылка «Настройки» — здесь открываются настройки LM Studio Bionic. В них можно менять разные параметры, например способ обработки удалённых чатов и набор элементов интерфейса.
В разделе «Библиотека» внутри «Настроек» можно управлять уже установленными моделями. Через пункт «Обзор» можно искать новые. Если вам нужна работа с изображениями и документами, выбирайте мультимодальные модели. Технически они расширяют возможности языковой модели, хотя их тоже часто называют языковыми моделями.
Ещё один элемент интерфейса — боковая панель справа. Её можно показать или скрыть кнопкой в правом верхнем углу. Панель содержит дополнительные настройки работы с файлами между проектами и позволяет при необходимости дать программе доступ к файловой системе компьютера.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram