Зачем запускать модель локально
Если вы пользуетесь ChatGPT, Claude, Perplexity или похожими сервисами, вы взаимодействуете с большой языковой моделью. Такие модели применяют для программирования, написания и сокращения текстов, а также поиска информации в интернете.
При локальном запуске данные не отправляются в облако, где их могли бы анализировать или просматривать другие компании. Модель работает даже без подключения к интернету, а платить за подписку и следить за лимитами запросов не нужно.
Скачать можно множество бесплатных моделей, в том числе от Meta и Google. Они, как правило, менее продвинуты и работают медленнее, чем модели внутри платных приложений, но для обычных задач их возможностей достаточно. При необходимости можно выбирать разные модели под разные сценарии.
Обратная сторона — дополнительное обслуживание. Обновления придётся устанавливать самостоятельно, а часть удобства готового приложения ChatGPT исчезнет. Зато вы получаете персональную систему с большим контролем над данными, а начать работу достаточно просто.
Источник: wired.com
Какой компьютер нужен
Локальные языковые модели запускаются на Windows, macOS и Linux. Среди любителей ИИ чаще выбирают macOS: на компьютерах Apple программная и аппаратная часть более унифицирована, а чипы Apple Silicon объединяют центральный и графический процессоры с оперативной памятью. Такая архитектура удобна для работы с ИИ-моделями.
На любой платформе полезно иметь как можно больше оперативной памяти. Минимум — 8 ГБ, но при таком объёме выбор моделей и скорость работы будут ограничены. 16 ГБ — более подходящий вариант, а для самых крупных и быстрых моделей потребуется 32 ГБ или больше.
Для лучших результатов пригодится выделенная видеокарта с большим объёмом видеопамяти. Более 8 ГБ видеопамяти уже заметно помогают, поскольку такая память оптимизирована под задачи, которые выполняют ИИ-модели.
На Windows особенно полезна выделенная видеокарта Nvidia. Графические процессоры лучше подходят для ИИ-задач, чем обычные центральные процессоры, а собственная видеопамять даёт модели дополнительное пространство для работы.
Формального минимального требования для запуска локальной языковой модели нет. Однако большой объём оперативной памяти и отдельная видеокарта заметно расширяют доступный выбор. Кроме того, понадобится программа для запуска модели — внешняя оболочка — и файл самой модели. В обоих случаях есть разные варианты.
Какое приложение выбрать
Для начинающих на Windows и macOS обычно рекомендуют бесплатное приложение LM Studio Bionic. Среди других популярных вариантов — vLLM, Llama.cpp, Ollama и GPT4All. Они тоже работают на нескольких операционных системах, но требуют более технического подхода.
После выбора приложения нужно подобрать языковую модель. Программа предложит несколько вариантов, а найти дополнительные модели можно в каталогах в интернете. Самый известный из них — Hugging Face, где доступно более 3 миллионов моделей.
Источник: wired.com
Установка LM Studio Bionic
Возможных конфигураций для локальных моделей много, но разберём базовый вариант на Windows — установку LM Studio Bionic.
Сначала скачайте установочный файл с сайта приложения и запустите LM Studio Bionic. Для начала работы нажмите Создать проект и присвойте первому проекту название.
Откроется пустое окно диалога. Нажмите Выбрать модель в поле запроса, затем выберите Получить локальные модели — приложение откроет основной каталог моделей.
Каждая модель в списке сопровождается информацией о размере, популярности и характеристиках. Для первого запуска можно обратить внимание на рекомендации команды приложения. Небольшие модели обычно менее способны, зато быстрее скачиваются и занимают меньше места на компьютере.
Работа с интерфейсом
В окне диалога всё устроено примерно так же, как в обычном приложении для общения с диалоговым помощником. В нижнем поле запроса можно выбрать одну из установленных моделей. Если модель поддерживает изображения и файлы, слева от этого поля появится значок «+» для их добавления.
Слева находится панель навигации: через неё можно переключаться между проектами. В нижней левой части размещена ссылка Настройки — здесь открываются настройки LM Studio Bionic. В них можно менять разные параметры, включая обработку удалённых диалогов и отображаемые элементы интерфейса.
Источник: wired.com
В разделе Библиотека внутри настроек можно управлять уже установленными моделями. Через пункт Обзор выполняется поиск новых. Если вам нужны изображения и документы, выбирайте мультимодальные модели. Технически они расширяют возможности языковой модели, хотя их часто тоже называют языковыми моделями.
Наконец, справа находится боковая панель. Её можно показать или скрыть кнопкой в правом верхнем углу. Панель содержит дополнительные инструменты для управления файлами в разных проектах и для предоставления программе доступа к файловой системе компьютера, если это требуется.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram